Адаптер Oracle GoldenGate для Kafka - содержимое сообщения JSON

В Моих золотых воротах большие данные для кафки. когда я пытаюсь обновить запись, я получаю только обновленный столбец и столбец первичного ключа после части в файле json

{"table":"MYSCHEMATOPIC.PASSPORTS","op_type":"U","op_ts":"2018-03-17 13:57:50.000000","current_ts":"2018-03-17T13:57:53.901000","pos":"00000000030000010627","before":{"PASSPORT_ID":71541893,"PPS_ID":71541892,"PASSPORT_NO":"1234567","PASSPORT_NO_NUMERIC":241742,"PASSPORT_TYPE_ID":7,"ISSUE_DATE":null,"EXPIRY_DATE":"0060-12-21 00:00:00","ISSUE_PLACE_EN":"UN-DEFINED","ISSUE_PLACE_AR":"?????? ????????","ISSUE_COUNTRY_ID":203,"ISSUE_GOV_COUNTRY_ID":203,"IS_ACTIVE":1,"PREV_PASSPORT_ID":null,"CREATED_DATE":"2003-06-08 00:00:00","CREATED_BY":-9,"MODIFIED_DATE":null,"MODIFIED_BY":null,"IS_SETTLED":0,"MAIN_PASSPORT_PERSON_INFO_ID":34834317,"NATIONALITY_ID":590},
"after":{"PASSPORT_ID":71541893,"NATIONALITY_ID":589}}

В After part в моем json out я хочу показать все столбцы

Как получить все столбцы после части?

gg.handlerlist = kafkahandler
gg.handler.kafkahandler.type=kafka gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties
    #The following resolves the topic name using the short table name
    gg.handler.kafkahandler.topicMappingTemplate=passports

    gg.handler.kafkahandler.format=json
    gg.handler.kafkahandler.BlockingSend =false
    gg.handler.kafkahandler.includeTokens=false
    gg.handler.kafkahandler.mode=op
    #gg.handler.kafkahandler.format.insertOpKey=I
    #gg.handler.kafkahandler.format.updateOpKey=U
    #gg.handler.kafkahandler.format.deleteOpKey=D
    #gg.handler.kafkahandler.format.truncateOpKey=T
    #gg.handler.kafkahandler.format.includeColumnNames=TRUE
    goldengate.userexit.timestamp=utc
    goldengate.userexit.writers=javawriter
    javawriter.stats.display=TRUE
    javawriter.stats.full=TRUE
    gg.log=log4j
    gg.log.level=info
  gg.report.time=30sec

apache-kafka oracle-golden-gate
person Francis John    schedule 17.03.2018    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Попробуйте использовать обработчик Kafka Connect вместо этого - он включает в себя полную полезную нагрузку. В этой статье описан процесс настройки.

person Robin Moffatt    schedule 19.03.2018
comment
Эта статья больше не доступна. Какая настройка, чтобы получить все столбцы в полезной нагрузке до и после изображения? - person thebluephantom; 06.12.2019
comment
Я исправил ссылку - person Robin Moffatt; 06.12.2019
comment
Выглядит хорошо, и хотя я фанат Confluent, я полагаю, что если вы не учитываете аспект дрейфа схемы, все это может работать без Confluent? - person thebluephantom; 06.12.2019
comment
Если вы не хотите использовать Avro, да, это просто ванильный Apache Kafka. Но вы обычно должны использовать Avro :) - person Robin Moffatt; 06.12.2019
comment
Нет, я согласен с вами, но у нас есть пример использования, в котором дрейф схемы не такой динамичный и контролируемый. Но я использовал его в другом месте и читал ваши статьи! Хорошие выходные. - person thebluephantom; 06.12.2019
comment
Ссылка, которую вы любезно предоставили, больше не является реальным ответом, учитывая, что нужно загрузить новые версии. Установка OGG чревата разного рода проблемами. - person thebluephantom; 10.12.2019
comment
Честно говоря, вам может потребоваться переписать это, поскольку мы хотим загрузить 19c, а затем библиотеки не найдены, убедитесь, что адаптеры не очищены. Я не мог заставить его работать, еще во времена слияния, проблемы с потоками. ужасно разочаровывает - person thebluephantom; 10.12.2019
comment
Не стесняйтесь сопоставлять любые обновления или писать новую версию - с радостью разместите ее в моей статье, или вы можете разместить ее в своем собственном блоге, и я обновлю свой ответ, добавив ссылку на ваш :) - person Robin Moffatt; 11.12.2019
comment
Робин, я вижу, что вы тоже очень компетентны и теперь являетесь частью RM, я работал над R на одном этапе. Но следование всему этому, когда не все материалы, доступные в OTN, затрудняют отслеживание. Например, вы можете указать, что вам нужна классическая версия и версия BD. На 19с переходников найти не удалось, ну или если еще нужны. Проблема в том, что материал устаревает. В любом случае я заставил его работать с 19c вплоть до части BD. Но нужны символические ссылки, о которых было бы неплохо знать ... Хорошие усилия все же - person thebluephantom; 11.12.2019
comment
Я не был в RM какое-то время :) Не стесняйтесь, напишите мне [email protected], если у вас есть какие-либо правки и т. Д., Которые вы хотите, чтобы я внес в блог. - person Robin Moffatt; 11.12.2019
comment
Попался, хорошо, подойдет. - person thebluephantom; 11.12.2019

arrow_upward
0
arrow_downward

Привет Эта проблема исправлена ​​добавленным ниже изменением стороны золотых ворот

ДОБАВИТЬ TRANDATA имя_таблицы ALLCOLS

person Francis John    schedule 14.02.2020