Я реализовал кластер с использованием AWS EMR. У меня есть мастер ndoe с двумя основными узлами с действием начальной загрузки hadoop. Теперь я хотел бы использовать автоматическое масштабирование и динамически регулировать размер кластера в зависимости от порога процессора и некоторых других ограничений. Но я понятия не имею, поскольку в Интернете не так много информации о том, как использовать AutoScaling в уже существующем кластере. Любая помощь.
Как масштабировать кластер AWS EMR с 1 главным и 2 основными узлами с помощью автоматического масштабирования AWS? Есть способ?
Ответы (1)
В настоящее время вы не можете запустить кластер EMR в группе AutoScaling. Но вы можете достичь очень похожей цели, доставив уведомление о тревогах CloudWatch в очередь SQS и сценарий, использующий эту очередь, который использует AWS CLI или SDK для изменения кластера.
person
Julio Faerman
schedule
26.08.2014
Попробовал бы это. Но должно быть сложно. Спасибо.
- person ; 27.08.2014
Не совсем ... см .: docs.aws.amazon .com / cli / latest / reference / sqs /
- person Julio Faerman; 27.08.2014
Мне сложно сделать так. Думаю, лучший способ - использовать спотовые экземпляры на EMR.
- person ; 29.08.2014
Как мы можем поместить уведомление о нарушении порога в очередь SQS?
- person devsda; 30.07.2016
