Вопросы по теме 'flink-cep'
Как указать другой файл log4j.properties для разных заданий flink, работающих в одном автономном кластере
У меня есть несколько заданий flink, работающих в автономном кластере. Мне нужны разные файлы журналов для разных заданий flink. Итак, как я могу передать другой файл log4j.properties при отправке задания flink.
3020 просмотров
schedule
30.05.2022
Окно Flink и обслуживание состояния
Я работаю над apache flink для потоковой передачи данных, и у меня есть несколько вопросов. Любая помощь приветствуется. Спасибо.
1) Есть ли ограничения на создание переворачивающихся окон. Например, если я хочу создать всплывающее окно для...
1208 просмотров
schedule
11.03.2022
Как я могу добавлять / изменять новые шаблоны / запросы динамически / во время выполнения в apache Flink?
Я пытаюсь создать систему CEP с Apache Flink для корреляции событий. Одно из требований - иметь возможность добавлять новые шаблоны для обнаружения аномалий во время выполнения без потери доступности системы. Любые идеи о том, как я могу это...
1033 просмотров
schedule
07.12.2022
Как использовать каждый оператор шаблона в Flink CEP
В шаблонах событий механизма Esper CEP есть оператор Every , который указывает, что подвыражение шаблона должно перезапускаться, когда вложенное выражение, квалифицированное каждым ключевым словом, оценивается как истинное или ложное.
Согласно...
353 просмотров
schedule
16.06.2023
Обработка сообщения Flink ровно один раз
Я установил автономный кластер Flink 1.2 с 2 диспетчерами заданий и 3 диспетчера задач, и я использую JMeter для его нагрузочного тестирования, создавая сообщения / события Kafka, которые затем обрабатываются. Задание обработки выполняется в...
2477 просмотров
schedule
14.04.2023
Сопоставить или присоединиться к событию и правилу из двух тем kafka в одном потоке данных
Я хочу объединить две темы кафки в один поток данных.
На самом деле два потока данных должны иметь один и тот же идентификатор, чтобы выполнить соединение. Событие — это данные, поступающие от датчиков, а правило содержит правила, которые будут...
162 просмотров
schedule
01.09.2022
Лучший подход к созданию механизма правил в реальном времени для наших потоковых событий
Мы находимся в начале создания проекта облачной платформы Интернета вещей. Есть определенные хорошо известные части для достижения полного решения платформы IoT. Одним из них является система обработки правил / движка в реальном времени , которая...
5485 просмотров
schedule
02.08.2022
Отправка DataStream во Flink с помощью сокетов; проблема сериализации
Я хочу отправить поток данных с виртуальной машины на хост-компьютер, и я использую метод writeToSocket() , как показано ниже:
joinedStreamEventDataStream.writeToSocket("192.168.1.10", 6998) ;
Здесь joinedStreamEventDataStream относится к...
897 просмотров
schedule
19.10.2022
Используете окно Flink и функцию сворачивания, элемент отсутствует?
Когда я пытаюсь объединить элементы с помощью функции окна и сворачивания, некоторые элементы не удается объединить. Получение элементов из Kafka (value:0, value:1, value:2, value:3) и их агрегирование как нечетные и четные значения.
Выход:...
674 просмотров
schedule
05.04.2022
Невозможно запустить задание Flink при отправке файла jar, но в противном случае программа работает в Intellij
Моя программа Flink успешно работает в IntellijIdea, но когда я создаю файл jar этой программы, чтобы отправить его как jar, она показывает мне следующую ошибку
ava.lang.RuntimeException: Could not look up the main(String[]) method from the class...
3012 просмотров
schedule
28.07.2023
Семантика сопоставления последовательностей в Flink CEP
В Apache JIRA есть проблема: https://issues.apache.org/jira/browse/FLINK-3703 . Это позволяет определить, где алгоритм сопоставления должен продолжаться после того, как соответствующая последовательность была найдена, и существует три типа...
302 просмотров
schedule
21.04.2023
Можно ли сгенерировать водяные знаки для каждого ключа в KeyedStream (Apache Flink)?
Я работаю над реализацией варианта использования, в котором разные физические устройства отправляют события, и из-за проблем с сетью / питанием может возникнуть задержка в получении событий в источнике мигания. Одним из операторов в задании flink...
976 просмотров
schedule
02.07.2022
Apache Flink: как подсчитать общее количество событий в DataStream
У меня есть два необработанных потока, и я присоединяюсь к этим потокам, а затем я хочу подсчитать, какое общее количество событий было присоединено, а сколько событий нет. Я делаю это, используя карту на joinedEventDataStream , как показано ниже....
1294 просмотров
schedule
01.06.2022
Одновременно существует один шаблон FLINK CEP
Возможно ли иметь один шаблон для ключа за раз. Например, Я хочу проверить, получаю ли я 5 событий, которые соответствуют условию where в течение 1 минуты, и если я получаю 10 таких событий за минуту, я должен получить 2 предупреждения, но я получаю...
113 просмотров
schedule
14.12.2022
Как отладить сериализуемое исключение во Flink?
Я столкнулся с несколькими сериализуемыми исключениями и провел поиск в Интернете и документации Flink; есть некоторые известные решения, такие как переходный процесс, расширение Serializable и т. д. Каждый раз происхождение исключения очень ясно,...
4565 просмотров
schedule
08.10.2022
Есть ли эквивалент оператора foldLeft в 1.4 Apache Flink DataStream?
У меня есть такая настройка потока с использованием Apache Flink 1.4, начинается с DataStream, затем keyBy, затем window, затем агрегат
выходом агрегированной операции является объект AggregateResult, поэтому поток, который сейчас заканчивается,...
70 просмотров
schedule
22.04.2023
Агрегация транзакций в Apache Flink
Я пытался понять, как написать программу flink, которая получает события из 3 тем кафки, суммирует их на сегодня, вчера и позавчера.
поэтому первый вопрос: как я могу суммировать транзакцию за 3 разных дня и извлечь их в виде файла json
433 просмотров
schedule
17.11.2022
Шаблон Flink CEP не соответствует первым событиям после запуска задания и всегда соответствует предыдущим установленным событиям
Я хочу сопоставить шаблон CEP в Flink 1.4.0 Streaming со следующим кодом:
DataStream<Event> input = inputFromSocket.map(new IncomingMessageProcessor()).filter(new FilterEmptyAndInvalidEvents());
DataStream<Event> inputFiltered...
959 просмотров
schedule
02.01.2024
Объединение результатов из разных заданий Flink
У меня есть 3 задания, которые читаются из одного входного потока. Каждый дает свой результат. Как мне объединить результаты разных заданий и создать единую строку JSON
Пример: {"key": "input_msg", "result_1": "job1_result", ...}
Я надеюсь...
125 просмотров
schedule
15.07.2022
Создание CEP с помощью Apache Flink
Я пытаюсь реализовать очень простой Apache Flink CEP для Kafka InputStream. Производитель Kafka генерирует простые двойные значения и отправляет их через тему Kafka в виде строки потребителям. В настоящий момент я кодирую CEP Consumer с помощью...
372 просмотров
schedule
27.05.2024
