Как настроить различные супервайзеры для нимба в шторме?

У меня есть сервер nimbus и 3 других сервера-наблюдателя. И у меня запущено 11 топологий штормов. Но все они работают только в Nimbus. Как настроить другие супервизоры, чтобы топологии распределялись между различными супервизорами. Какие файлы конфигурации я должен изменить?


apache-kafka topology apache-storm nimbus
person tanmayghosh2507    schedule 11.04.2016    source источник
comment
Не могли бы вы предоставить файл storm.yaml для одного из ваших супервизорных серверов?   -  person Morgan Kenyon    schedule 12.04.2016
comment
Что показывает интерфейс Storm? Все ли супервайзеры правильно зарегистрированы в Nimbus? Что такое параметр топологии number.workers?   -  person Matthias J. Sax    schedule 13.04.2016
comment
@MatthiasJ.Sax, кто-то еще настроил супервайзер и нимб. Подскажите, пожалуйста, как проверить, зарегистрированы ли супервайзеры на nimbus или нет. Прикреплен интерфейс Storm. Также вы можете увидеть количество рабочих.   -  person tanmayghosh2507    schedule 13.04.2016

Ответы (1)


arrow_upward
1
arrow_downward

Кажется, происходит что-то смешное. Для двух хостов corona-stage-storm-supervisor-01 и corona-stage-storm-supervisor-02 есть по два супервайзера. Однако на хосте должен работать только один супервизор. Я бы предположил, что это «сбивает с толку» Nimbus, и он использует оставшийся хост (corona-storm-nimbus-01), на котором работает только один супервизор.

Дополнительные сведения см. в документации Storm (и поговорите со своим администратором, который выполнял настройку):

О количестве рабочих процессов: этот параметр определяет, сколько рабочих JVM используется для топологии (супервизор JVM запускает рабочий JVM, который выполняет фактическую работу — супервизоры в основном являются «локальным мастером хоста» для координации). Вы можете установить его в конфигурации вашей работы через conf.setNumWorkers(int). Если вы хотите, чтобы топология распространялась на несколько хостов, вам нужно увеличить этот параметр. Тем не менее, для нескольких топологий, как в вашем случае, значение одного также может быть приемлемым — разные топологии должны работать на разных хостах, независимо от этого параметра.

См. документацию Storm для более подробной информации:

person Matthias J. Sax    schedule 13.04.2016
comment
Я также не получаю никакого ответа от супервайзера при пинге с нимба и наоборот. это означает, что нимб и супервайзеры не сопоставлены и не связаны. Как настроить их так, чтобы сервер nimbus и супервизора могли общаться друг с другом? - person tanmayghosh2507; 13.04.2016
comment
@tanmay2507 tanmay2507 ты нашел решение? Я также сталкиваюсь с той же проблемой, когда nimbus и супервайзеры не могут общаться друг с другом. - person Vijendra Kumar Kulhade; 15.07.2017