Ошибка конвейера данных в шаблоне из копии RDS в S3

Я использую шаблон, чтобы сделать копию. В узле данных «S3» я настроил пользовательский формат, поскольку данные моего столбца содержат «запятую».

Пользовательский формат данных, который я использую, имеет следующие свойства

Разделителем столбцов является PIPE ("|"), а разделителем записей является "\n"

Когда я запускаю данные конвейера, они не загружаются в S3 и выдают следующую ошибку.

Ошибка копирования записи\nПричина: java.lang.reflect.InvocationTargetException\nПричина: null\nПричина: в формате записи должен быть определен символ кавычек

Кто-нибудь сталкивался с этой проблемой.


amazon-s3 amazon-rds amazon-data-pipeline
person Man-with-a-e    schedule 30.09.2014    source источник

Ответы (2)


arrow_upward
4
arrow_downward

Параметр «Escape Char» не отображается в типе формата «Пользовательский» в конвейере данных AWS.

Вы можете использовать тип «TSV» в качестве пользовательского типа формата и указать:

  • «Разделитель столбцов» как труба (|),
  • «Разделитель записи» в виде новой строки (\n),
  • "Escape Char" как обратная косая черта (\) или любой другой символ, который вы хотите.
person jem.s    schedule 14.11.2014

arrow_upward
1
arrow_downward

Если вы используете Aurora в качестве исходной базы данных, я предлагаю вам использовать SELECT INTO OUTFILE S3. В противном случае соберите свой собственный с помощью EMR (в этом вам помогут проекты hive и sqoop).

person herbertgoto    schedule 04.06.2018