Мы могли бы использовать некоторую помощь в том, как отправлять журналы драйвера Spark и рабочих процессов в пункт назначения за пределами Azure Databricks, например, Хранилище BLOB-объектов Azure или эластичный поиск с использованием Eleastic-beats.
При настройке нового кластера единственными параметрами для получения места доставки журнала регистрации являются dbfs, см.
https://docs.azuredatabricks.net/user-guide/clusters/log-delivery.html.
Любой вклад очень ценится, спасибо!
