Может ли кто-нибудь сообщить мне, как использовать databricks dbutils для удаления всех файлов из папки. Я пробовал следующее, но, к сожалению, Databricks не поддерживает подстановочные знаки.
dbutils.fs.rm('adl://azurelake.azuredatalakestore.net/landing/stageone/*')
Спасибо
Согласно документации, Функция rm принимает 2 параметра:
rm (dir: String, recurse: boolean = false): boolean -> Удаляет файл или каталог.
Где второй параметр - это логический флаг для установки рекурсивности, поэтому вам просто нужно установить для него значение true:
dbutils.fs.rm('adl://azurelake.azuredatalakestore.net/landing/stageone/',True)
Примерно так должно работать:
val PATH = "adl://azurelake.azuredatalakestore.net/landing/stageone/"
dbutils.fs.ls(PATH)
.map(_.name)
.foreach((file: String) => dbutils.fs.rm(PATH + file, true))
