Zeppelin динамически загружает банки

Внутри Zeppelin я хочу иметь возможность динамически загружать банки в Livy из корпоративного репозитория.

livy.spark.jars.packages

применяется только к конфигурации интерпретатора, которая ограничена из-за ограничений безопасности.

Как я могу однажды настроить разрешенные репозитории в zeppelin, а затем динамически вытащить банки для Livy, как это:

%spark.dep
z.reset() // clean up previously added artifact and repository

// add maven repository
z.addRepo("RepoName").url("RepoURL")

// add artifact from maven repository, with no dependency
z.load("groupId:artifactId:version")

обеспечивает


person Georg Heiler    schedule 06.07.2018    source источник


Ответы (1)


Вы можете попробовать встроенный универсальный интерпретатор, представленный в 0.8.0. См. https://medium.com/@zjffdu/zeppelin-0-8-0-new-features-ea53e8810235

%livy.conf

livy.spark.jars.packages  <your_package>
person zjffdu    schedule 06.07.2018
comment
К сожалению, у нас есть только 0.7.3. Есть решение и для старой версии? - person Georg Heiler; 06.07.2018