Импорт данных из CSV-файлов в Cratedb

Я создал таблицу в Crate 0.38.x со столбцами, имеющими типы данных integer, string и timestamp. Я хочу загрузить данные в эту таблицу из текстовых файлов с разделителями. Есть ли утилита для массового импорта? Извините, но я не смог найти ни в документации, ни на Github.


person user3769537    schedule 24.06.2014    source источник


Ответы (3)


Для массового импорта из файла можно использовать оператор COPY FROM (см. https://crate.io/docs/stable/sql/reference/copy_from.html). Но поддерживаются только файлы в формате JSON, поэтому вам, вероятно, сначала потребуется преобразовать текстовые файлы.

Не уверен, есть ли какие-либо планы по добавлению поддержки других форматов, но если вы создадите github issue с ​​запросом этой функции, вы получите отзыв, как только она будет реализована.

Также доступны документы о том, как выполнить миграцию с mysql и mongodb

person mfussenegger    schedule 24.06.2014

Я быстро импортировал данные из MySQL в Crate 0.40, установив Ruby on Rails на тот же сервер базы данных MySQL, а затем используя Mysql2JSON gem (см. часть Mysql2xxx).

Для Crate требуется одна строка на файл JSON регистрации. Итак, вам нужно отредактировать вывод, заменив [", ",", "] на ", "/n", " в исходном коде mysql2xxXX, чтобы иметь такой формат в выводе:

{"id": 1, "quote": "Don't panic"}
{"id": 2, "quote": "Would it save you a lot of time if I just gave up and went mad now?"}

После экспорта информации MySQL JSON с гемом Mysql2Json вы должны загрузить файл на сервер Create и поместить в консоль Crate:

COPY table_name FROM 'file:///tmp/import_data/quotes.json'
person Andres Palacios    schedule 19.08.2014

Прочитайте это: https://crate.io/docs/crate/reference/en/latest/general/dml.html#import-and-export

просто убедитесь, что вы создали таблицу со схемой заранее, используя функцию копирования для импорта набора данных из json или csv.

person Ashutosh Kumar    schedule 18.02.2019