Публикации по теме 'flink-streaming'
Основы создания приложения Apache Flink
Понимание потоковой обработки с помощью Flink снизу вверх; облачные сервисы и другие платформы предоставляют решения для потоковой обработки (для некоторых Flink интегрирован под капотом). Если вы упускаете из виду основы, это руководство для вас.
Наше монолитное решение не справляется с возросшей нагрузкой входящих данных, поэтому оно должно развиваться. Пришло время для следующего поколения нашего продукта. Потоковая обработка - это новая парадигма приема данных по сравнению с..
Вопросы по теме 'flink-streaming'
Каковы основные различия между Flink и Storm?
Flink был по сравнению со Spark , который на мой взгляд, это неправильное сравнение, потому что оно сравнивает оконную систему обработки событий с микропакетированием; Точно так же для меня нет особого смысла сравнивать Flink с Samza. В обоих...
52868 просмотров
schedule
22.03.2023
Несоответствие типа потоковой передачи Apache Flink в функции flatMap
Попытка использовать api потоковой передачи версии 0.10.0 flink в scala 2.10.4. При попытке скомпилировать эту первую версию:
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
import...
2790 просмотров
schedule
09.11.2022
Как указать OVERWRITE для writeAsText в Apache Flink Streaming 0.10.0?
У меня есть метод в scala
counts.writeAsText(path_to_file)
Выдает исключение, когда файл уже существует, и предлагает указать File or directory already exists. Existing files and directories are not overwritten in NO_OVERWRITE mode. Use...
2520 просмотров
schedule
08.10.2023
apache fink 0.10 Фильтрация дубликатов в бесконечном потоке с очисткой временного окна
как я могу отфильтровать дубликаты в бесконечном потоке с очисткой временного окна? У меня нет бесконечного пространства / оперативной памяти, и я знаю, что, скажем, через 2 секунды (по локальным часам) произойдет любое дублирование, которое может...
3525 просмотров
schedule
05.08.2022
Как отправлять сообщения из потока данных Google (Apache Beam) на бегуне Flink в Kafka
Я пытаюсь написать доказательство концепции, которое берет сообщения от Kafka, преобразует их с помощью Beam на Flink, а затем отправляет результаты в другую тему Kafka.
Я использовал KafkaWindowedWordCountExample в качестве отправной точки, и он...
1102 просмотров
schedule
06.11.2022
Как посчитать уникальные слова в потоке?
Есть ли способ подсчитать количество уникальных слов в потоке с помощью Flink Streaming? Результатом будет поток чисел, который продолжает увеличиваться.
2525 просмотров
schedule
30.06.2022
Как с помощью Apache Flink вовремя присоединиться к zip-двум потокам?
У меня два потока. Оба они представляют собой агрегированные данные за 1 час. Я хочу заархивировать эти потоки, чтобы агрегаты за один и тот же промежуток времени объединялись в кортежи, возможно, с пустым значением, если теперь существует такое...
333 просмотров
schedule
18.01.2023
Невозможно применить () пользовательские функции к WindowedStream на Flink
Я застрял, пытаясь закодировать пользовательскую логику для метода Window apply(). По сути, я хочу уменьшить все элементы из окна, а затем добавить временную метку к этому значению, поэтому я создал WindowedStream из потока данных, но когда я пытаюсь...
995 просмотров
schedule
24.01.2023
Ошибка соединителя Flink Kafka в проекте Maven Scala с использованием Intellij, Kafka 0.8.2, Java 7 и Scala 2.10
Я попытался запустить следующий код.
package test
import java.util.Properties
import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, _}
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer08
import...
997 просмотров
schedule
19.01.2024
Apache Flink против Twitter Heron?
Есть много вопросов, сравнивающих Flink и Spark Streaming, Flink vs Storm и Storm vs Heron.
Этот вопрос возникает из-за того, что и Apache Flink, и Twitter Heron являются настоящими фреймворками потоковой обработки (а не микропакетами, такими как...
6165 просмотров
schedule
26.05.2024
org.apache.flink.api.table.TableException: ожидается псевдоним в выражении ссылки на поле
Я использую API таблиц Apache Flink в версии 1.1-SNAPSHOT для оценки SQL-запросов в потоках.
Вот мой код:
private static final int MAX_RACK_ID = 10;
private static final long PAUSE = 100;
private static final double TEMP_STD = 20;
private...
1156 просмотров
schedule
24.03.2024
не удалось найти неявное значение для параметра доказательства типа org.apache.flink.api.common.typeinfo.TypeInformation []
Я пытаюсь написать несколько вариантов использования Apache Flink. Одна ошибка, с которой я сталкиваюсь довольно часто:
could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[SomeType]...
18419 просмотров
schedule
03.11.2022
Каков наилучший способ совместного использования набора данных между узлами в Apache Flink?
Я использую Apache Flink для обработки потока данных, и мне нужно поделиться индексом между всеми узлами, которые обрабатывают входные данные. Индекс часто обновляется узлами.
Я хотел бы знать, является ли с точки зрения эффективности хорошей...
478 просмотров
schedule
15.03.2022
Как указать другой файл log4j.properties для разных заданий flink, работающих в одном автономном кластере
У меня есть несколько заданий flink, работающих в автономном кластере. Мне нужны разные файлы журналов для разных заданий flink. Итак, как я могу передать другой файл log4j.properties при отправке задания flink.
3020 просмотров
schedule
30.05.2022
Flink: нет внешних соединений в DataStream?
Я был удивлен, обнаружив, что во Flink нет внешних соединений для DataStream ( Документы DataStream ).
Для DataSet у вас есть все варианты: leftOuterJoin , rightOuterJoin и fullOuterJoin , кроме обычного join ( документы DataSet ). Но...
1312 просмотров
schedule
10.05.2022
Apache Flink JDBC InputFormat выдает java.net.SocketException: сокет закрыт
Я запрашиваю базу данных Oracle с помощью Flink DataSet API. Для этого я настроил Flink JDBCInputFormat для возврата java.sql.Resultset. Так как мне нужно выполнить дальнейшую операцию над набором результатов с помощью операторов Flink.
public...
464 просмотров
schedule
18.08.2023
несоответствие типов flink graph community
Я пытаюсь выполнить очень простой код для обнаружения сообщества, но он возвращает ошибку:
import org.apache.flink.graph.library.CommunityDetection
import org.apache.flink.graph._
import org.apache.flink.graph.scala.Graph
import java.lang.Long...
122 просмотров
schedule
23.10.2022
FlinkQueryableState: проблемы с конфигурацией в локальном кластере
Я запускаю флинк из IDE. Сохранение данных в запросе работает, но почему-то, когда я запрашиваю его, он выдает исключение.
Исключение
Failure(akka.actor.ActorNotFound: Actor not found for:...
1061 просмотров
schedule
11.03.2023
Окно Flink и обслуживание состояния
Я работаю над apache flink для потоковой передачи данных, и у меня есть несколько вопросов. Любая помощь приветствуется. Спасибо.
1) Есть ли ограничения на создание переворачивающихся окон. Например, если я хочу создать всплывающее окно для...
1208 просмотров
schedule
11.03.2022
Группа потребителей KAFKA + FLINK 1.1.2 не работает как исключение
Когда я попытался подключиться к одной теме с 3 с разделом и 3 FlinkKafkaConsumer09 потреблять из одной темы и использовать свойство группы потребителей Kafka, как показано ниже.
props.setProperty("group.id", "myGroup");...
1025 просмотров
schedule
22.10.2022
