У нас есть существующая установка, в которой восходящие системы отправляют нам сообщения в очередь сообщений, и мы обрабатываем эти сообщения. Содержимое — это xml, и мы просто разматываем. За этим шагом разупорядочения следует запись в БД (чтобы поместить соответствующие значения в соответствующие столбцы) . Система настроена на взаимодействие со многими другими вышестоящими системами, и наши объемы будут увеличиваться до максимального размера 40 мм в день.
Наш текущий способ обработки — прослушиватели в очередях, а затем несколько потоков производителей и потребителей, которые выполняют десортировку и последующую запись в БД.
Мой вопрос: может ли этот процесс вписаться в сценарий использования Storm? Я имею в виду, может ли MQ быть моим носиком, и у меня есть 2 болта, один из которых нужно разобрать, а затем он становится носиком для следующего болта, который записывает в базу данных?
Если да, то какую пользу я могу извлечь? Это прощание с громоздким многопоточным шаблоном кода производителя/работника. Если это так же просто, как описано выше, то где/почему можно было бы прибегнуть к обычному многопоточному подходу к сценарию производителя/потребителя. Я хочу сказать, что существует объем/частота данных, при которых Storm начинает сиять по сравнению с обычным подходом.
PS: я очень новичок в этом и пытаюсь понять это и хочу убедиться, что ход мыслей правильный.
С уважением, ЦВМ.
