Вопросы по теме 'streamsets'
Streamsets solrcloud на CDH 5.7 не может подключиться к Solr
Я использую наборы потоков в CDH версии 5.7.0.
Пример рабочего процесса для загрузки файла из HDFS (источник) и создания записей в Solr (пункт назначения). Ошибка при проверке — SOLR_03 — Не удалось подключиться к экземпляру Solr:...
365 просмотров
schedule
13.08.2022
Селектор потока Streamsets
У меня есть очередь в формате JSON в RabbitMQ, и я хотел бы получить некоторые данные, которые фиксируют некоторые условия в StreamSets (используя селектор потоков), а затем сохранить в новой базе данных (JDBC Producer) определенное значение. Как...
762 просмотров
schedule
23.04.2023
Streamsets DC и исключение Crate. ОШИБКА: SQLParseException: строка 1:13: нет жизнеспособной альтернативы при вводе «ХАРАКТЕРИСТИКИ»
Я пытаюсь подключиться к Crate в качестве источника конвейера сборщика данных Streamsets (JDBC Consumer). Однако я получаю эту ошибку: "JDBC_00 - Не удается подключиться к указанной базе данных: com.streamsets.pipeline.api.StageException: JDBC_06 -...
266 просмотров
schedule
20.05.2022
Данные предварительного просмотра StreamSets из-за ошибки MySQL
Я пытался использовать StreamSets для запроса базы данных MySQL и публикации данных в Elasticsearch (localhost).
Я загрузил архив StreamSets на свой Mac и распаковал его в свой домашний каталог. Запуск StreamSets dc запустился с первой попытки,...
484 просмотров
schedule
16.07.2023
Проблемы с производителем jdbc в наборах потоков
Я пытался перенести данные из локального каталога в базу данных mysql с помощью конвейера Streamsets. Пока данные предварительного просмотра находятся на консоли, но не записываются в базу данных mysql. Конвейер не показывает ошибок, но данные все...
414 просмотров
schedule
15.12.2022
HTTP-клиент StreamSets
Я работаю с StreamSets в дистрибутиве Cloudera, пытаясь получить некоторые данные с этого веб-сайта http://files.data.gouv.fr/sirene/
Я столкнулся с некоторыми проблемами при выборе параметров как HTTP-клиента, так и места назначения Hadoop FS....
1523 просмотров
schedule
09.06.2023
Kafka: не удается получить метаданные для темы при смене активного контроллера
У меня есть кластер Cloudera с кластеризованной службой Kafka. У меня есть два экземпляра контроллеров Kafka, скажем, C1 и C2.
Когда C1 является активным контроллером, все работает нормально. Когда по какой-то причине C2 становится активным...
2116 просмотров
schedule
17.02.2023
Может ли CDC Streamsets Data Collector читать и записывать в несколько таблиц?
У меня есть база данных MSSQL, структура которой реплицируется в базе данных Postgres. Я включил CDC в MSSQL и использовал клиент CDC SQL Server в сборщике данных StreamSets для прослушивания изменений в таблицах этой базы данных.
Но я не могу...
735 просмотров
schedule
22.03.2023
Происхождение StreamSets CDC: Mysql-Binarylog не может получить экземпляр драйвера
Я пытаюсь настроить Mysql-BinaryLog в StreamSets, но он жалуется, что не может загрузить экземпляр драйвера.
мой.cnf:
[mysqld]
server-id = 223344
log_bin = mysql-bin
binlog_format = row
binlog_row_image =...
246 просмотров
schedule
09.04.2023
Получение ошибки с Oracle 11g CDC в StreamSets
com.streamsets.datacollector.util.PipelineException: PREVIEW_0003 - Encountered error while previewing : com.streamsets.pipeline.api.StageException: JDBC_87 - Interrupted while waiting to read data
at...
335 просмотров
schedule
03.03.2023
Ошибка сборки StreamSets в проекте streamsets-datacollector-dist: невозможно найти артефакт
Я пытаюсь создать сборщик данных StreamSets с исходными кодами, следуя инструкциям в общедоступном git-репозитории Streamsets ( Ссылка на общедоступный github SDC ).
Следующее изображение является скриншотом ошибки. Сообщение об ошибке, которое я...
106 просмотров
schedule
08.08.2022
Streamsets Pipeline для загрузки файлов в HDFS с вводящим в заблуждение исключением File not Found Exception
У нас настроена работа Streamsets. Который, хотя он работает успешно, выдает следующую ошибку:
«НЕИЗВЕСТНО com.streamsets.pipeline.api.StageException: SPOOLDIR_35 — сбой запуска каталога буфера. Причина java.nio.file.NoSuchFileException:»...
319 просмотров
schedule
06.12.2022
Не удалось установить Streamsets на Mac
Я пытаюсь установить Streamsets на свой Mac. пока я пытаюсь запустить наборы потоков с помощью этой команды: streamsets-datacollector-3.4.3/bin/streamsets dc получаю следующее исключение:
Abnormal exit: java.lang.RuntimeException: The...
345 просмотров
schedule
23.01.2023
Проблема с установкой внешних библиотек в Streamsets Data Collector
У меня нелепая проблема с установкой внешних библиотек, я выполнил все шаги из документа Streamsets, но после перезапуска Streamsets я получил эту ошибку: Ожидал ровно 1 jar библиотек стадии, но нашел 2 с именем streamsets-datacollector-jdbc-lib. у...
193 просмотров
schedule
16.07.2022
Airflow должен интегрироваться с NiFi/StreamSets?
Я знаю, что Airflow называется менеджером рабочих процессов, менеджером потоков данных nifi, но что это означает? Лучшим объяснением до сих пор было то, что nifi заботится о данных, а airflow заботится о задачах, но я не совсем понимаю это...
1631 просмотров
schedule
28.07.2023
Наборы потоков: SpoolDIR_01 Не удалось обработать файл
Привет, я пытаюсь запустить конвейер для обработки очень большого файла (около 4 миллионов записей). Каждый раз, когда он достигает примерно 270 000, он терпит неудачу, а затем прекращает обработку дальнейших записей и возвращает эту ошибку....
361 просмотров
schedule
15.05.2024
Не удается прочитать данные из Google Cloud Platform в сборщике данных StreamSets.
Я пытаюсь создать конвейер в сборщике данных StreamSets для чтения данных из корзины Google Cloud Platform и загрузки данных в ту же корзину с другим именем файла.
Файл данных в ведре находится в формате JSON.
Я использовал источник Google Cloud...
158 просмотров
schedule
29.03.2024
Postgres CDC не собирает данные в облаке Azure
Я установил StreamSets 3.8 и postgresql 10.12 в облаке Azure. Он работает, как и ожидалось, за исключением того, что CDC postgresql не фиксирует никаких изменений в целевой таблице мониторинга.
У меня точно такая же установка на локальном рабочем...
87 просмотров
schedule
02.01.2023
Оболочка для запуска StreamSets Pipeline
Я хочу подключиться к Control Hub и запустить конкретный StreamSets конвейер с помощью сценария оболочки.
218 просмотров
schedule
06.08.2022
