Публикации по теме 'avro'
Де-де-дедупликация событий с помощью Kafka Streams
Не волнуйтесь, это не очередной пост о единовременной обработке. Хочу описать интересное требование, которое возникло в одном из наших проектов.
Вот ситуация
Источник события отправляет сообщения в тему Kafka. Сообщение содержит единственную строку, являющуюся идентификатором сообщения. В нашем приложении это объект с несколькими полями, одно из которых - id . Он сериализуется с помощью Avro, и мы используем Serdes для Avro, но давайте будем простыми. Все, что мы хотим добиться,..
Вопросы по теме 'avro'
Вопрос о заполнении вложенных записей в Avro с использованием GenericRecord
Предположим, у меня есть следующая схема:
{
"name" : "Profile",
"type" : "record",
"fields" : [
{ "name" : "firstName", "type" : "string" },
{ "name" : "address" , "type" : {
"type" : "record",
"name" : "AddressUSRecord",
"fields"...
8094 просмотров
schedule
29.07.2022
необязательный массив в схеме avro
Мне интересно, возможно ли иметь дополнительный массив. Предположим такую схему:
{
"type": "record",
"name": "test_avro",
"fields" : [
{"name": "test_field_1", "type": "long"},
{"name": "subrecord", "type": [{...
26383 просмотров
schedule
17.05.2022
Задание mapreduce с вводом простого текста и выводом avro
Я очень запутался в использовании Avro с уменьшением карты и не могу найти хороших руководств для подражания.
Похоже, что такие классы, как AvroJob и AvroMapper, предназначены для решения проблем, когда и ввод, и вывод являются файлами данных Avro....
2205 просмотров
schedule
08.07.2022
Чем отличается карта от записи в авро?
Я использую Apache Avro для проекта, но не могу разобраться в том, что он называет картами . Мне не удалось найти какие-либо примеры используемых карт, а пример в спецификации довольно голый:
Карты
Карты используют имя типа "map"...
2305 просмотров
schedule
31.03.2023
Использование Apache Avro Reflect
Сериализация Avro популярна среди пользователей Hadoop, но найти примеры очень сложно.
Может ли кто-нибудь помочь мне с этим примером кода? Меня больше всего интересует использование Reflect API для чтения/записи в файлы и использование аннотаций...
22984 просмотров
schedule
07.04.2023
Объекты Apache Avro ThreadLocal задерживаются при отмене развертывания Tomcat
Мы используем Apache Avro в качестве интерфейса JSON между нашим приложением Python и некоторыми сторонними библиотеками Java, которые мы запускаем в службе Tomcat. Мы решили просто расширить класс org.apache.avro.ipc.ResponderServlet для реализации...
518 просмотров
schedule
13.10.2022
HBase разные клиенты
Я работаю над проектом, в котором я хотел бы прочитать данные из системы HBase. Я читал, что доступны различные клиенты HBase, Java-клиент по умолчанию, Thrift, Avro и т. д.
Теперь я в замешательстве, если я выберу Java-клиент по умолчанию, смогу...
1335 просмотров
schedule
18.10.2022
Используйте дженерики в отражении для Avro
В приведенном ниже коде:
public class AvroReader<T> {
public AvroReader(Class type, File packetFile) throws IOException{
reader = new DataFileReader<>(packetFile,
new...
1198 просмотров
schedule
27.04.2022
Avro и java: десериализованная карта строки не равна исходной карте
Я тестирую Avro для java с простой записью, состоящей из строки и карты. Вот моя схема:
{
"type":"record",
"name":"TableRecord",
"fields":[
{"name":"ActionCode","type":"string"},
{
"name":"Fields",...
8307 просмотров
schedule
14.05.2023
Примеры схемы Apache Avro и документация
Я пытаюсь определить менее чем тривиальную схему Avro без особого успеха; когда он не будет выдавать синтаксические ошибки схемы, он не будет создавать все типы, которые я пытаюсь определить в схеме.
Есть ли полная спецификация возможного...
1860 просмотров
schedule
25.01.2023
Управляйте размером разделения с помощью Avro Input Format в Hadoop
Я должен прочитать запись Avro, сериализованную в файлах avro в HDFS. Для этого я использую AvroKeyInputFormat, поэтому мой преобразователь может работать с прочитанными записями как с ключами.
Мой вопрос: как я могу контролировать размер...
1633 просмотров
schedule
16.10.2022
Как Cloudera CDH4 работает с Avro?
Я работаю над некоторыми программами MapR. Обычно они кодируются и тестируются на Apache Hadoop на моем локальном компьютере, а упакованный jar (с зависимостями) загружается в наш кластер под управлением Cloudera CDH4 (v4.4.1). Для обеих ситуаций у...
2978 просмотров
schedule
31.08.2022
отправка закодированных данных avro(avro c) через сокет
отправка закодированных данных avro (avro c) через сокет. Я пытаюсь отправить закодированные данные avro через сокет после преобразования его в массив байтов (с использованием memcpy). Что я сделал, как указано ниже
/ клиентская сторона: client.c /...
632 просмотров
schedule
10.06.2022
В чем преимущество хранения схемы в avro?
Нам нужно сериализовать некоторые данные для помещения в solr, а также в hadoop.
Я оцениваю инструменты сериализации для того же самого.
Первые два в моем списке — Gson и Avro.
Насколько я понимаю, Avro = Gson + Schema-In-JSON
Если это...
21730 просмотров
schedule
25.05.2022
Spark: запись в файл Avro
Я в Spark, у меня есть RDD из файла Avro. Теперь я хочу сделать некоторые преобразования в этом RDD и сохранить его обратно в виде файла Avro:
val job = new Job(new Configuration())
AvroJob.setOutputKeySchema(job, getOutputSchema(inputSchema))...
11798 просмотров
schedule
07.02.2023
Сопоставление Accumulo Gora для Array/HashMap
Я могу интегрировать Apache Gora как ORM с Accumulo, используя спецификацию Avro JSON (которая входит в состав Gora). Он отлично работает, когда я использую примитивные типы данных, такие как String , Integer и т. д., но я сталкиваюсь с ошибками,...
382 просмотров
schedule
16.04.2023
Определение схемы для ключа Avro в Oozie
Я новичок в уменьшении карт и Avro. Мой проект в основном имеет только функцию картографа, которая принимает текстовые данные и выводит данные Avro, и для этого я объявил свой картограф примерно так:
public class AvroMapper extends...
919 просмотров
schedule
20.04.2023
Как записать вывод avro в карту Hadoop?
Я написал одну программу подсчета слов Hadoop, которая принимает TextInputFormat ввод и должна выводить количество слов в формате avro.
Задание Map-Reduce выполняется нормально, но вывод этого задания можно прочитать с помощью команд unix, таких...
7636 просмотров
schedule
24.02.2023
Как Avro Binary кодировать строку JSON с помощью Apache Avro?
Я пытаюсь бинарно закодировать мою строку JSON. Ниже моя строка JSON, и я создал простой метод, который будет выполнять преобразование, но я не уверен, правильно ли я делаю или нет?
public static void main(String args[]) throws Exception{
try{...
33619 просмотров
schedule
06.10.2022
Как преобразовать строку JSON в Avro в Python?
Есть ли способ преобразовать строку JSON в Avro без определения схемы в Python? Или это то, с чем может справиться только Java?
12809 просмотров
schedule
28.09.2022
