Запрос исполнителей, потому что задачи задерживаются

У меня есть приложение для потоковой передачи искр, которое до вчерашнего дня работало абсолютно нормально, и внезапно столкнулось с этими предупреждениями. У меня такая же среда, и я использую тот же код. Вот предупреждения:

05/09 17:13:03 INFO ExecutorAllocationManager: запрашивает 16 новых исполнителей, потому что задачи находятся в невыполненном журнале (новое желаемое общее количество будет 31) 16/05/09 17:13:03 INFO ExecutorAllocationManager: запрос 19 новых исполнителей, потому что задачи находятся в невыполненном журнале (новое желаемая сумма будет 50)

16/05/09 17:13:12 ПРЕДУПРЕЖДЕНИЕ YarnScheduler: начальное задание не приняло никаких ресурсов; проверьте пользовательский интерфейс кластера, чтобы убедиться, что рабочие зарегистрированы и имеют достаточно ресурсов

16/05/09 17:13:27 ПРЕДУПРЕЖДЕНИЕ YarnScheduler: начальное задание не приняло никаких ресурсов; проверьте пользовательский интерфейс кластера, чтобы убедиться, что рабочие зарегистрированы и имеют достаточно ресурсов

Я использую apache spark 1.6 на cloudera 5.5. быстрый запуск ВМ. В кластере нет запущенных приложений для использования доступных ресурсов.

Есть ли какой-нибудь конфиг?

Спасибо!


apache-spark pyspark cloudera-quickstart-vm
person Abhi    schedule 10.05.2016    source источник
comment
Возможный дубликат TaskSchedulerImpl: исходное задание не приняло никаких ресурсов;. Если этот вопрос не решает вашу проблему, отредактируйте, чтобы объяснить, что вы пробовали и что произошло.   -  person jpmc26    schedule 10.05.2016
comment
Включили ли вы динамическое распределение исполнителей?   -  person Joe Widen    schedule 10.05.2016
comment
Да, я добавил следующие свойства ‹property› ‹name› yarn.nodemanager.aux-services ‹/name› ‹value› spark_shuffle ‹/value› ‹/property› ‹property› ‹name› yarn.nodemanager.aux-services.spark_shuffle .class ‹/name› ‹value› org.apache.spark.network.yarn.YarnShuffleService ‹/value› ‹/property› в spark-env.sh   -  person Abhi    schedule 10.05.2016
comment
Нужны ли мне дополнительные параметры для включения динамического размещения? Я также добавил SPARK_WORKER_MEMORY, CORES в spark-env, но это не помогло !!   -  person Abhi    schedule 10.05.2016
comment
@Abhi, ты нашел какое-нибудь решение проблемы?   -  person lu5er    schedule 14.01.2019

Ответы (1)


arrow_upward
0
arrow_downward

Quickstart vm был разработан для быстрого ознакомления с функциональностью и, вероятно, сконфигурирован так, чтобы «поместиться в коробке», а не для долгосрочной стабильности.

В общем, моя рекомендация при проблемах с песочницами и быстрым запуском - просто настроить новую, если это необходимо.

В этом конкретном случае краткое руководство предназначено для CDH, для которого преемник (CDP) уже отсутствует.

CDP, Cloudera Data Platform, является преемником как CDH, так и HDP. .

Если вы хотите проверить последнюю версию, существует пробная версия, которая подходит для большинства целей, для которых вы, возможно, захотите использовать быстрый запуск. Его можно загрузить здесь.

Полное раскрытие информации: я сотрудник Cloudera, компании, стоящей за CDH и CDP.

person Dennis Jaheruddin    schedule 24.10.2020