Планирование кластера EMR

Я создал и сохранил запросы с использованием HIVE и PIG, которые я хотел бы запланировать для выполнения на еженедельной основе. Сценарии создают файлы S3 и обновляют DynamoTables. Что можно использовать для создания кластера AmazonEMR для автоматического запуска этих сценариев по расписанию.

Я думал об AWS Data Pipeline, но, похоже, он требует создания узлов данных, и я не думаю, что это необходимо для моих целей.


person jwiora    schedule 21.03.2014    source источник


Ответы (1)


Вам не нужно указывать узлы данных, если вы отключите промежуточное размещение в HiveActivity.

этап = ложь

См. пример в этом сообщении.

person panther    schedule 17.02.2015