Вопросы по теме 'hazelcast-jet'
Кооперативный и некооперативный `Процессор в одной вершине
Могут ли Processor s быть как кооперативными, так и некооперативными в одной вершине? Поскольку кооперативность является свойством Processor , и ProcessorSupplier не требуется, чтобы возвращать Processor того же типа. Либо это?
Вариант...
76 просмотров
schedule
29.04.2022
В чем разница между Hazelcast Jet и Apache Flink
В частности, какие варианты использования Hazelcast Jet решает, а Flink не решает (одинаково хорошо) и наоборот?
2232 просмотров
schedule
24.02.2023
Как сформулировать элегантную вершину для Hazelcast Jet, чтобы получить минимум?
Я пытаюсь понять использование бифункции в процессоре накопления Hazelcast Jets. Первая попытка - это простое минимальное сравнение, но то, что я придумал, выглядит таким неэлегантным. Есть ли лучший способ сделать это?
Vertex min =...
96 просмотров
schedule
09.09.2022
Как заставить простой DAG работать в Hazelcast Jet?
Работая над своим DAG в hazelcast Jet, я столкнулся со странной проблемой. Чтобы проверить ошибку, я полностью упростил свой подход и: кажется, что края не работают в соответствии с учебником.
Приведенный ниже код почти настолько же прост,...
258 просмотров
schedule
20.11.2023
Как узнать, как работает Hazelcast Jet Vertex?
Я пытаюсь переработать систему Hazelcast Jet 0.3 DAG, которую я написал несколько недель назад, до версии 0.4 в качестве первого шага по ее замене с партии на поток. Что интересно, внезапно я испытываю странное поведение, при котором я не могу быть...
114 просмотров
schedule
15.04.2022
Можно ли объединить два разных IMap в Hazelcast?
У меня есть две карты hazelcast 1. map2 2. map2
Хотел соединить обе карты по ключу.
Могу ли я сделать это в hazelcast?
Спасибо
907 просмотров
schedule
07.01.2023
Понимание некоторых концепций и интеграции Hazelcast Jet с Kafka
Я пытаюсь сопоставить некоторые концепции между Spark Structured Streaming и Hazelcast Jet, а также разбираться в других предметах.
Q1 - В Spark каждый раздел Kafka станет разделом внутри Spark, затем они будут обрабатываться отдельными задачами...
464 просмотров
schedule
16.04.2024
Пользователь Kafka - совет по дизайну проекта
Я новичок в Kafka и потоковой передаче данных, и мне нужен совет по следующему требованию: наша система ожидает около 1 миллиона входящих сообщений в день. Сообщение содержит идентификатор проекта. Сообщение должно быть отправлено пользователям...
212 просмотров
schedule
26.09.2022
Пользовательская оболочка журнала
Я пытаюсь создать пользовательскую оболочку для регистрации времени выполнения, затрачиваемого на обработку каждого сообщения, выполняемого каждым вершинным процессором.
Используя DiagnosticProcessors.peekInputP/peekOutputP и процессор.PeekWrappedP...
117 просмотров
schedule
11.04.2023
Hazelcast Jet 0.6.1 - ошибка компиляции с API конвейера customTransform
Я получаю следующую ошибку компиляции с API конвейера customTransform .
Вот пример кода для построения конвейера:
private Pipeline buildPipeline2() {
Pipeline p = Pipeline.create();
p.drawFrom(Sources.<String,...
58 просмотров
schedule
13.10.2022
отправить задание в удаленный кластер hazelcast
Я новичок в Hazelcast Jet и у меня очень простой вопрос. У меня настроен 3-узловой JET-кластер. У меня есть образец кода для чтения из Kafka и слива в IMap. Когда я запускаю его из командной строки (используя jet-submit.sh и использую...
315 просмотров
schedule
13.01.2023
Процессор с 2 входящими краями - при возврате false на одном крае продолжайте повторную обработку с того же края и никогда не обрабатывайте новые элементы на другом крае
Я прошу подтверждения моего предположения о логике tryProcess ().
Подробно, как возвращаемое значение (истина / ложь) влияет на рабочий процесс DAG на процессоре с 2 входящими ребрами без указания приоритета.
Мое предположение состоит в том, что...
53 просмотров
schedule
25.10.2022
Единица измерения раздвижного окна Hazelcast Jet
Извините за может быть глупый вопрос, но из документов неясно, какова единица измерения для скользящего окна? Это миллисекунды, секунды или количество элементов в потоке? Я заметил, что операция агрегирования давала пустые результаты, и мне пришлось...
86 просмотров
schedule
12.09.2022
Агрегировать непрерывный поток чисел из файла с помощью hazelcast Jet
Я пытаюсь суммировать непрерывный поток чисел из файла с помощью hazelcast jet
pipe
.drawFrom(Sources.fileWatcher)<dir>))
.map(s->Integer.parseInt(s))
.addTimestamps()
.window(WindowDefinition.sliding(10000,1000))...
107 просмотров
schedule
02.06.2023
Проблема с синтаксисом Hazelcast-Jet DrainTo
Я пытаюсь агрегировать с помощью Jet, источник и приемник - это тема Kafka, требование - принимать сообщения GPB (google proto buf) из источника и публиковать сообщения GPB. Проблема в том, что я могу опубликовать Double , но не сообщение GPB, и это...
77 просмотров
schedule
02.04.2023
Максимальное агрегирование с Hazelcast-jet
Я хочу сделать простой максимум для всего набора данных. Я начал с примера Kafka по адресу: https://github.com/hazelcast/hazelcast-jet-code-samples/blob/0.7-mainmaintenance/kafka/src/main/java/avro/KafkaAvroSource.java.
Я просто изменил конвейер...
111 просмотров
schedule
01.06.2023
Клиент не может подключиться к кластерам Hazelcast-jet ec2
Я устанавливаю кластер Hazelcast-jet на aws ec2, следуя инструкциям здесь . Я использовал модель hazelcast-aws, чтобы узлы могли автоматически обнаруживать друг друга. Кластер запущен и работает:
[2019-09-26 22:26:26.288] [INFO ]...
171 просмотров
schedule
11.09.2022
Коннектор Hazelcast Jet для Apache Pulsar в качестве источника
Я не смог найти Hazlecast Jet коннектор источника для Apache Pulsar . Кто-нибудь пробовал это? Оцените любые направления, точки, источники, соображения, если мне нужно написать собственный stream коннектор для Pulsar в качестве источника для...
171 просмотров
schedule
27.11.2022
Как написать задание Hazelcast Jet для обработки запроса Http и выдачи результата в качестве ответа
У меня есть конечная точка http, где клиент делает запрос со своими данными, на которые возвращается вычисленный ответ. Вычисление состоит из нескольких этапов - data lookup , calculations и несколько transformations . Окончательный результат...
88 просмотров
schedule
10.12.2022
Hazelcast Jet - как использовать нестатический метод в конвейере Jet
У меня есть базовый конвейер ниже. На одном из шагов я хочу преобразовать объект, вызвав метод из службы, как показано ниже. Но Jet выдает ошибку, говоря, что этот mapFn не сериализуемый. Что тут делать? Он отлично работает со статическими...
42 просмотров
schedule
25.12.2021
