Вопросы по теме 'apache-storm'
Проектирование системы аналитической обработки в реальном времени
Я разрабатываю систему, которая должна анализировать большое количество пользовательских транзакций и производить агрегированные показатели (такие как тенденции и т. д.). Система должна работать быстро, быть надежной и масштабируемой. Система...
1959 просмотров
schedule
20.02.2023
Перебалансировка топологии Storm с использованием кода Java
Я пытаюсь перебалансировать свою топологию Storm, в которой используется KafkaSpout. Мой код:
TopologyBuilder builder = new TopologyBuilder();
Properties kafkaProps = new Properties();
kafkaProps.put("zk.connect", "localhost:2181");...
1806 просмотров
schedule
13.12.2023
Storm ›Как интегрировать обратный вызов Java в Spout
Я пытаюсь интегрировать Storm ( см. Здесь ) в свой проект. Я изучаю концепции топологий, желобов и болтов. Но сейчас я пытаюсь понять, как на самом деле реализовать несколько вещей.
A) У меня многоязычная среда с Java и Clojure. Мой код Java -...
1399 просмотров
schedule
01.05.2022
Storm как замена многопоточного подхода Consumer/Producer для обработки больших объемов?
У нас есть существующая установка, в которой восходящие системы отправляют нам сообщения в очередь сообщений, и мы обрабатываем эти сообщения. Содержимое — это xml, и мы просто разматываем. За этим шагом разупорядочения следует запись в БД (чтобы...
216 просмотров
schedule
04.02.2023
Воспроизводит ли storm кортеж, время обработки которого истекло?
В документации Storm упоминается, что Storm воспроизводит кортеж, время обработки которого истекло. Мой вопрос заключается в том, делает ли шторм это автоматически (без вызова fail() в исходном потоке) или это скорее ответственность исходного потока...
2766 просмотров
schedule
31.01.2023
Проверка штормовых болтов и носиков
Это общий вопрос, касающийся болтов и носиков модульного тестирования в топологии Storm, написанной на Java.
Каковы рекомендуемые методы и правила для модульного тестирования (JUnit?) Bolts и Spouts ?
Например, я мог бы написать тест JUnit...
17025 просмотров
schedule
10.07.2022
Сравните системы кластерных вычислений в оперативной памяти
Я работаю над системой кластерных вычислений Spark (Berkeley). В ходе моего исследования я узнал о некоторых других системах в памяти, таких как Redis, Memcachedb и т. д. Было бы здорово, если бы кто-нибудь мог дать мне сравнение между SPARK и REDIS...
5392 просмотров
schedule
14.07.2022
Поток данных Kafka Storm HDFS/S3
Неясно, можете ли вы сделать разветвление (дублирование) в Kafka, как в Flume.
Я бы хотел, чтобы Kafka сохраняла данные в HDFS или S3 и отправляла копию этих данных в Storm для обработки в реальном времени. Выходные данные агрегации/анализа Storm...
3570 просмотров
schedule
15.04.2023
Создание файлов Storm JAR во время компиляции только в проекте Gradle
Я пытаюсь создать проект Gradle, содержащий проект Storm. Чтобы запустить этот проект в Storm, мне нужно сначала создать файл JAR и позволить Storm запустить мою топологию, например
storm jar myJarFile.jar com.mypackage.MyStormMainClass
У...
2272 просмотров
schedule
13.05.2024
Основные теги для создания проекта Java с использованием maven в pom.xml
Я создаю свой java-проект, используя maven, но не смог добиться успеха. Итак, может ли кто-нибудь сказать мне основные теги и соответствующие им значения, необходимые в pom.xml для создания проекта? Кроме того, как добавить зависимости от шторма...
5910 просмотров
schedule
04.07.2022
Twitter Storm против Apache Hadoop
Было бы здорово, если бы кто-нибудь мог объяснить мне архитектурные различия между Twitter Storm и Apache Hadoop? Я ищу некоторые внутренние вещи, помимо пакетной обработки в реальном времени. Поскольку обе технологии довольно похожи с точки...
5963 просмотров
schedule
01.05.2022
Отправка топологии в Storm
Я настроил Storm на своей машине. Zookeeper, Nimbus и Supervisor работают правильно. Теперь я хочу представить топологию этого шторма. Я пытаюсь использовать штормовую банку. но я не могу представить его. Может ли кто-нибудь привести пример для...
13214 просмотров
schedule
20.03.2024
как построить Apache Storm
как построить Apache Storm.
Я скачал с гитхаба версию с исходным кодом storm-0.9.0.
Я хочу знать, как настроить среду сборки. Моя цель - изучить исходный код шторма.
Первый вопрос: какую IDE следует использовать? затмение нормально? Я не...
3924 просмотров
schedule
03.06.2023
Как написать С++ носик/болт для использования Storm and Thrift в Storm
Взято из здесь : Storm с самого начала разрабатывался для совместимости с несколькими языками. Nimbus — это сервис Thrift, а топологии определяются как структуры Thrift. Использование Thrift позволяет использовать Storm на любом языке.
Я вижу,...
4020 просмотров
schedule
19.01.2023
Ошибка соединения с отказом в Storm
Я новичок в Storm. Я застрял с ошибкой ниже
java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:599)
at...
5405 просмотров
schedule
14.11.2023
Динамическая топология Storm
Поддерживает ли Storm динамическую топологию? Функциональность, которую я хочу от этого, состоит в том, чтобы динамически изменять топологию в соответствии с требованиями пользователя во время работы топологии Storm. Например, когда пользователь...
4541 просмотров
schedule
18.02.2023
Clojure, ActiveMQ и Storm: потребление из очереди с использованием clojure
Я хотел бы подключиться и использовать из очереди с помощью Clojure. Я не знаю, какой из clojure лучше всего подходит для этой задачи (Storm-JMS??).
Кто-нибудь знает, какой API лучше? Может быть, у вас есть пример того, как потребление...
1231 просмотров
schedule
20.07.2023
Функция слияния Storm Trident, сохраняющая временной порядок
Скажем, у меня есть два потока:
Stream 1: [1,3],[2,4]
Stream 2: [2,5],[3,2]
Обычное слияние создаст поток 3, например:
[1,3],[2,4],[2,5],[3,2]
Я хотел бы объединить поток, сохраняя порядок, в котором кортеж был выпущен, поэтому, если...
638 просмотров
schedule
17.11.2022
Обработка журнала в реальном времени и генерация предупреждений
Предполагая, что у меня есть непрерывный поток записей журнала (например, журнал брандмауэра), мне нужен инструмент, способный обрабатывать поток событий и выполнять над ним некоторые вычисления в реальном времени (например, подсчитывать количество...
5053 просмотров
schedule
23.05.2023
Остановить бурю: верный путь
Есть ли чистый способ остановить шторм, не убивая его с помощью "kill XXX", где XXX - PID?
Я запускаю "storm kill имя-топологии", чтобы уничтожить топологию, но после этого есть ли чистый способ завершить работу рабочих, нимб, супервизора и...
28528 просмотров
schedule
31.01.2023
