Выполнение программы Apache Beam без использования Maven

Я хочу запустить простой пример Beam Program с помощью Apache Spark runner. 1) Мне удалось успешно скомпилировать программу на моем локальном компьютере. 2) Я хочу отправить файл JAR в поле контроля качества, где не установлен Maven. 3) Я вижу пример с командой Maven, которая компилирует и выполняет программу примеров. 4) Не могли бы вы рассказать мне, как запустить код без установки Maven. 5) команда spark-submit работает нормально. 6) Вы хотите, чтобы я поместил все зависимые файлы JAR один за другим в каталог /opt/mapr/spark/spark-2.1.0/jars для выполнения программы

Спасибо.


person VIjay    schedule 20.09.2017    source источник


Ответы (1)


Вы можете сделать это, следуя инструкциям в Beam Spark Документация по раннеру.

Эти инструкции демонстрируют, как отправить заявку, выполнив следующие действия:

  1. Упаковка вашего приложения с зависимостями в виде uber jar.
  2. Отправьте упакованное приложение, используя spark-submit.
person aviemzur    schedule 08.10.2017