Вопросы по теме 'flume-ng'
Безопасность Flume-ng hdfs
Я новичок в Hadoop и Flume NG, и мне нужна помощь. Я не понимаю, как реализована безопасность hdfs.
Вот строки из конфигурации из руководства пользователя Flume:
# properties of hdfs-Cluster1-sink
agent_foo.sinks.hdfs-Cluster1-sink.type =...
629 просмотров
schedule
28.10.2023
Flume: десериализатор событий Avro для эластичного поиска
Я хочу взять запись, созданную десериализатором AVRO, и отправить ее в ElasticSearch. Я понимаю, что мне нужно написать собственный код, чтобы сделать это.
Используя параметр LITERAL, у меня есть схема JSON, которая является первым шагом в...
1284 просмотров
schedule
07.04.2023
Flume spooldir для получения метаданных файла исходного файла
У меня есть требование, согласно которому для каждого события канала я должен добавить имя файла и дату создания файла в каталоге spooldir. Я обнаружил, что могу добавить имя файла в заголовок события, установив fileHeader=true. Точно так же могу ли...
1051 просмотров
schedule
13.06.2022
MissingArgumentException при настройке Flume
Я установил Флюм
и попытался запустить эту команду
flume-ng agent -n $agent_name -c conf -f /home/gautham/Downloads/apache-flume-1.5.0.1-bin/conf/flume-conf.properties.template
и я получаю это исключение
ERROR node.Application: A fatal...
2865 просмотров
schedule
02.02.2023
Форматирование сериализатора Apache Flume HDFS
Я только начинаю работать с Flume, и мне нужно вставить некоторые заголовки в приемник hdfs.
У меня это работает, хотя формат неправильный, и я не могу управлять столбцами.
Используя эту конфигурацию:
a1.sources = r1
a1.sinks = k1...
1710 просмотров
schedule
20.10.2022
Разница между конфигурацией раковины под желобом
Меня очень смутила конфигурация ниже трех раковин в лотке. пожалуйста, проясните меня
КОНФ1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/events/
CONF2
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path =...
70 просмотров
schedule
05.07.2023
Flume не записывает журналы в Hdfs
Итак, я настроил flume для записи журналов доступа apache2 в hdfs ... и, как я понял из журналов flume, все настройки верны, но я не знаю, почему он все еще не пишет в hdfs. Итак, вот мой файл конфигурации Flume
#agent and component of agent...
1807 просмотров
schedule
31.03.2023
Flume для HDFS разделил файл на множество файлов
Я пытаюсь передать файл журнала размером 700 МБ с flume на HDFS . Я настроил агент flume следующим образом:
...
tier1.channels.memory-channel.type = memory
...
tier1.sinks.hdfs-sink.channel = memory-channel
tier1.sinks.hdfs-sink.type = hdfs...
1266 просмотров
schedule
16.01.2023
Получение «проверки flume.conf на наличие изменений» в цикле
Я использую Apache Flume 1.4.0 для сбора файлов журнала (auth.log) и хранения в HDFS (Hadoop 2.6.0). Используемая команда:
bin/flume-ng agent --conf ./conf/ -f flume.conf -Dflume.root.logger=DEBUG,console -n agent
Файл flume.conf содержит...
1350 просмотров
schedule
11.05.2023
Cloudera CDH 5.3.0
Может ли кто-нибудь сказать мне, где cloudera сохраняет файл агента Flume? На самом деле, я хочу создать еще одного агента Flume, например, я хочу запускать два агента Flume одновременно, но не могу найти способ сделать это.
252 просмотров
schedule
09.03.2023
Узи, дата, время, начало
У меня есть собственный собственный источник, работающий в моем файле flume.config, который отвечает за извлечение данных со страницы Facebook каждый час.
Мне интересно, есть ли способ установить период извлечения со временем запуска моего...
384 просмотров
schedule
28.02.2024
Ошибка при запросе данных Avro с использованием PIG, Utf8 не может быть приведен к java.lang.String
Я загрузил данные Twitter с помощью Flume в HDFS, но когда я пытаюсь запросить их с помощью PIG, я получаю исключение приведения класса, не могу преобразовать из utf-8 в String.
grunt> A= LOAD...
787 просмотров
schedule
11.04.2023
Flume — несколько приемников и каналов для одного агента
Я пытаюсь настроить поток таким образом, чтобы каждый агент мог иметь несколько приемников и, в конечном итоге, несколько каналов и источников (пока что мы рассматриваем только несколько каналов). У меня есть файл конфигурации, который выглядит как...
5125 просмотров
schedule
29.05.2024
Получение переменных в flume.conf
У меня есть агент Flume, объявленный в файле flume.con. Источник — RabbitMQ, хотя это не так актуально. Дело в том, что мне нужно вынести учетные данные оттуда в другой файл. Я видел, что способ сделать это находится в файле flume-env.sh, где я...
822 просмотров
schedule
11.12.2022
Исключение следует за org.apache.flume.FlumeException: невозможно загрузить тип источника: com.cloudera.flume
Я пытаюсь провести анализ твиттера с помощью Flume. Для получения твитов из твиттера я установил все необходимые параметры (consumerKey, ConsumerSecret, accessToken и accessTokenSecret) в файлах flume.conf.
TwitterAgent.sources = Twitter...
1493 просмотров
schedule
27.03.2023
отправить тело Flume JSONHandler как JSONObject
Я новичок в Flume и работаю над отправкой событий flume , используя источник HTTP . Я могу успешно отправить событие, если полезная нагрузка имеет следующий формат:
[{
"headers" : {
"timestamp" : "434324343",
"host" :...
361 просмотров
schedule
15.02.2023
Текстовый файл Avro, созданный агентом Flume Twitter Agent, не читается в Java
Невозможно прочитать и проанализировать файл, созданный потоковой передачей данных Twitter с помощью агента Flume twitter, ни с помощью Java, ни с помощью Avro Tools. Мое требование - преобразовать формат avro в формат JSON.
При использовании...
812 просмотров
schedule
21.06.2023
Flume создает пустую строку в конце выходного файла в HDFS
В настоящее время я использую версию Flume: 1.5.2.
Flume создает пустую строку в конце каждого выходного файла в HDFS, что приводит к тому, что количество строк, размеры файлов и контрольная сумма не совпадают для исходного и целевого файлов.
Я...
780 просмотров
schedule
31.07.2023
Maven Не удалось передать артефакт из/в repo1.maven.org
Я пытаюсь собрать Apache Flume, используя mvn install -DskipTests на SLES12.
Сообщение об ошибке:
[ОШИБКА] Не удалось выполнить цель проекта flume-ng-elasticsearch-sink: не удалось разрешить зависимости для проекта...
1763 просмотров
schedule
05.05.2023
В Apache Flume Могу ли я написать специальный перехватчик Sink для одного источника?
У меня есть этот конкретный сценарий
Avro Source -> Канал памяти -> Sink1, Sink2, Sink 3
Теперь мне нужно внести некоторые изменения в исходное событие, для которого я добавил один перехватчик. Но мне нужно внести определенные изменения в...
455 просмотров
schedule
03.12.2022
