Выполнить скрипт scala через Spark-Shell в автоматическом режиме

spark-shell -i file.scala в конце сохраняет интерпретатор открытым, поэтому System.exit(0) должен находиться в конце вашего скрипта. Наиболее подходящее решение - поместить код в try {} и поместить System.exit(0) в раздел finally {}.

Если требуется регистрация, вы можете использовать что-то вроде этого:

spark-shell < file.scala > test.log 2>&1 &

Если у вас есть ограничения на редактирование файла и вы не можете добавить System.exit(0), используйте:

echo :quit | scala-shell -i file.scala

UPD

Если вы хотите подавить все в выводе, кроме printlns, вам нужно отключить ведение журнала для spark-shell. Образец конфигураций находится здесь. Отключение любого вида входа в $SPARK-HOME/conf/log4j.properties должно позволить вам видеть только pritnlns. Но я бы не стал следовать этому подходу с printlns. Вместо printlns следует использовать общее ведение журнала с log4j. Вы можете настроить его так, чтобы получать те же результаты, что и с printlns. Все сводится к настройке паттерна. В этом ответе приведен пример шаблон, который решает вашу проблему.

Лучший способ - окончательно скомпилировать ваш код scala в jar и использовать spark-submit, но если вы просто ищете быстрый цикл итерации, вы можете просто выдать :quit после синтаксического анализа вашего кода scala:

echo :quit | scala-shell -i yourfile.scala

Добавление к ответу @rluta. Вы можете разместить вызов команды spark-shell внутри сценария оболочки. Скажите в сценарии оболочки следующее:

spark-shell < yourfile.scala

Но это потребует от вас сохранить строки кода внутри строки на случай, если оператор написан в разных строках.

OR

echo :quit | spark-shell -i yourfile.scala

Это должно