Публикации по теме 'apache-flink'
Окно Apache Flink: готовый к использованию шаблон обработки данных на основе времени
С появлением социальных сетей разработка таких технологий, как обработка больших данных и смежные области, привлекла внимание многих технологических гигантов. Разработчикам всегда было сложно обрабатывать и анализировать потоки данных с привязкой ко времени. Apache Flink стал мощной и универсальной платформой для обработки больших данных. Он предоставляет готовый к использованию шаблон с названием «Окно», который помогает обрабатывать потоки данных в зависимости от времени, обеспечивая..
Введение в потоковую обработку с использованием Apache Flink — Часть 1
Потоковая обработка — это парадигма программирования, которая рассматривает потоки данных или последовательности событий, основанных на времени, как основные входные и выходные данные вычислений, уделяя особое внимание непрерывным и безграничным данным.
Системы потоковой обработки обрабатывают события сразу по их прибытии, часто небольшими инкрементными единицами, известными как события или записи. Эта возможность позволяет организациям быстро извлекать пользу из данных, что..
Введение в Apache Flink — PyFlink — Часть 1
Apache Flink — это механизм распределенной обработки и платформа для вычислений с отслеживанием состояния над неограниченными и ограниченными потоками данных.
Этот блог научит вас всему, что вам нужно знать, чтобы начать работу с Apache Flink.
Что такое Apache Flink?
Apache Flink — это фреймворк для обработки данных. Apache Flink отлично справляется как с неограниченными, так и с ограниченными наборами данных.
Среда выполнения Flink может запускать приложения любого типа в..
Часть 3: Создание обучающих данных
Часть 3: Создание обучающих данных
Зарегистрируйтесь для участия в бета-тестировании на http://daytrader.ai
Вот с чего можно начать пачкать руки.
В последнем посте обсуждалась архитектура системы daytrader.ai для возможности пересылки, обратного тестирования и сопоставления наших данных с образцом. В этом посте я хочу пройти через некоторые шаги по настройке моего флинк-кластера, чтобы определить наш шаблон базового уровня. После этого я воспользуюсь клиентом, чтобы сообщать о..
Раскрывая ценность Kafka для конвейеров машинного обучения и обработки данных
Поскольку организации все больше и больше полагаются на потоковые данные для поддержки бизнес-сервисов и критически важных приложений, специалисты по данным являются одной из ключевых групп, которые ищут лучший доступ к данным в реальном времени и используют их для улучшения или создания лучших моделей машинного обучения. Повсеместно на группы специалистов по обработке и анализу данных ложится дополнительная нагрузка по сокращению задержек в их конвейерах машинного обучения, быстрой..
Вопросы по теме 'apache-flink'
Функции API Flink Scala для общих параметров
Это дополнительный вопрос о Flink Scala API недостаточно аргументов .
Я хотел бы иметь возможность передавать DataSet Flink и что-то с ним делать, но параметры набора данных являются общими.
Вот проблема, которая у меня сейчас:
import...
1427 просмотров
schedule
31.03.2024
Исключение NoSuchMethod во Flink при использовании набора данных с пользовательским массивом объектов
У меня проблема с Флинком
java.lang.NoSuchMethodError: org.apache.flink.api.java.typeutils.ObjectArrayTypeInfo.getInfoFor(Lorg/apache/flink/api/common/typeinfo/TypeInformation;)Lorg/apache/flink/api/java/typeutils/ObjectArrayTypeInfo;
at...
695 просмотров
schedule
04.03.2023
zipWithIndex на Apache Flink
Я хотел бы присвоить каждой строке моего ввода id - это должно быть число от 0 до N - 1 , где N - количество строк во вводе.
Грубо говоря, я хотел бы иметь возможность делать что-то вроде следующего:
val data = sc.textFile(textFilePath,...
433 просмотров
schedule
25.11.2022
Каковы основные различия между Flink и Storm?
Flink был по сравнению со Spark , который на мой взгляд, это неправильное сравнение, потому что оно сравнивает оконную систему обработки событий с микропакетированием; Точно так же для меня нет особого смысла сравнивать Flink с Samza. В обоих...
52868 просмотров
schedule
22.03.2023
Ошибка Flink Python API
я только что попробовал flink python api. Когда я пытаюсь:
env = get_environment()
Я получил:
IOError: [Errno 2] No such file or directory: '/tmp/flink_data/output'
Ошибка возникает из-за обработки пути в:...
420 просмотров
schedule
12.06.2023
Как определить начальную позицию набора данных в Apache Flink?
Я пытаюсь реализовать в Apache Flink некую оконную функцию. Например, я хочу взять элементы 1-5 и что-то с ними сделать, потом я хочу взять элементы 6-10 и так далее.
В настоящее время у меня есть набор данных, данные которого получены из файла...
549 просмотров
schedule
27.03.2022
Исключение Apache Flink в основном потоке java.lang.NoClassDefFoundError: scala / collection / Traversable
Я только начал изучать Apache Flink и нашел ссылку на руководство, чтобы начать разработку в EClipse IDE.
Я выполнил это , чтобы начать, но получил ошибка ниже
00: 20: 26,993 INFO org.apache.flink.api.java.ExecutionEnvironment - задание...
1392 просмотров
schedule
03.06.2022
Застрял с подсказками типов в clojure для универсального класса
Я пытаюсь получить небольшой пример из Apache flink, работающего в clojure, но сейчас я застрял из-за подсказок типа в clojure и какой-то странной причуды в flink.
Вот мой код:
(ns pipeline.core
(:import
(org.apache.flink.api.java...
2079 просмотров
schedule
25.03.2022
Как использовать функцию сгиба flink в scala
Это нерабочая попытка использования Flink fold с анонимной функцией scala:
val myFoldFunction = (x: Double, t:(Double,String,String)) => x + t._1
env.readFileStream(...).
...
.groupBy(1)
.fold(0.0, myFoldFunction : Function2[Double,...
595 просмотров
schedule
11.10.2023
Как записать содержимое переменной Flink на экран в Zeppelin?
Я пытаюсь запустить следующие простые команды в Apache Zeppelin.
%flink
var rabbit = env.fromElements(
"ARTHUR: What, behind the rabbit?",
"TIM: It is the rabbit!",
"ARTHUR: You silly sod! You got us all worked up!",
"TIM: Well, that's no...
1149 просмотров
schedule
11.01.2023
мигание: перекрывающееся чтение
Я хотел бы реализовать алгоритм со следующей схемой доступа (аналогично алгоритму конечных разностей):
В этом примере первое значение набора данных_1 используется для вычисления первого и второго значения набора данных_2. Итак, у меня...
105 просмотров
schedule
20.05.2022
writeAsCSV() и writeAsText() непредвиден
Я использую apache flink через Scala API и в какой-то момент получаю файл DataSet[(Int, Int, Int)] . Результат использования методов writeAsCSV() и writeAsText() неожиданный. Он создает каталог. Этот каталог имеет местоположение и имя первого...
1195 просмотров
schedule
02.03.2024
преобразование топологии шторма в flink - класс входа не указан?
Я работаю с этими указаниями по преобразованию существующую топологию шторма в задание по переходу. У меня установлен flink 1.0 (SNAPSHOT) через git, а веб-сервер и потоковый сервер работают локально.
Я создаю топологию через gradle в файл .jar...
1155 просмотров
schedule
11.11.2022
Несоответствие типа потоковой передачи Apache Flink в функции flatMap
Попытка использовать api потоковой передачи версии 0.10.0 flink в scala 2.10.4. При попытке скомпилировать эту первую версию:
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
import...
2790 просмотров
schedule
09.11.2022
flink - добавление инструментовки
Я хочу добавить инструментарий NewRelic к своим заданиям на флинк. Я не вижу, где можно передать дополнительный путь к классам / другие параметры команде bin/flink run <job> .
Агент Java NewRelic хочет, чтобы -javaagent:<path to...
1576 просмотров
schedule
25.08.2022
Поддерживает ли Spark Streaming итерации как Flink?
Например, вот программа Flink, которая непрерывно вычитает 1 из ряда целых чисел, пока они не достигнут нуля: Итерации Flink
DataStream<Long> someIntegers = env.generateSequence(0, 1000);
IterativeStream<Long> iteration =...
148 просмотров
schedule
02.01.2023
Как Apache Flink реализует итерацию?
DAG (направленный ациклический граф) выполнение больших данных является обычным явлением. Мне интересно, как Apache Flink реализует итерации, учитывая, что граф может быть циклическим.
1236 просмотров
schedule
03.09.2023
Как указать OVERWRITE для writeAsText в Apache Flink Streaming 0.10.0?
У меня есть метод в scala
counts.writeAsText(path_to_file)
Выдает исключение, когда файл уже существует, и предлагает указать File or directory already exists. Existing files and directories are not overwritten in NO_OVERWRITE mode. Use...
2520 просмотров
schedule
08.10.2023
Интеграция непараллелизуемой задачи с высокими требованиями к памяти в конвейере Flink
Я использую Flink в кластере пряжи для обработки данных с использованием различных источников и приемников. В какой-то момент топологии есть операция, которая не может быть распараллелена и, кроме того, требует доступа к большому объему памяти....
76 просмотров
schedule
30.09.2022
Apache Flink: выполнение программы, которая расширяет RichFlatMapFunction в удаленном кластере, вызывает ошибку
У меня есть следующий код в Apache Flink. Он отлично работает в локальном кластере, а его запуск в удаленном кластере генерирует ошибку NullPointerException в строке, содержащей команду «stack.push(recordPair);».
Кто-нибудь знает, в чем причина?...
1069 просмотров
schedule
08.12.2022
