Хранилище данных SQL Azure

Было бы неплохо, если бы я знал различные способы загрузки данных в хранилище данных SQL Azure.

Я мог подключиться к Azure SQL DW с помощью JDBC со своей машины Ubuntu.

  1. Есть ли прямой способ загрузить из хранилища BLOB-объектов Azure в Azure SQL DW без использования фабрики данных Azure?

  2. Способы загрузки данных из Ubuntu в Azure SQL DW.

  3. API Java для общения с Azure.

  4. Прямая загрузка данных из HDInsights в SQL DW.

Спасибо


azure java sql azure-sqldw
person Lambo-Fan    schedule 15.03.2016    source источник
comment
Java API для общения с Azure? Специально для подключения к Azure SQL DW и выполнения запросов? Или выполнять административные задачи в Azure? Можете уточнить, какие задачи?   -  person GregGalloway    schedule 16.03.2016

Ответы (2)


arrow_upward
1
arrow_downward

этот совет немного сумасшедший, но он сработает. возьмите локальную виртуальную машину sql server и настройте репликацию транзакций базы данных SQL Azure. -> https://channel9.msdn.com/Shows/Data-Exposed/Azure-SQL-DB-Transactional-Replication

Если вы пойдете по этому пути, ваша лазурная база данных sql заполнится. вам нужно подключить ubuntu (JDBC), чтобы вставить весь контент на сервер sql. Это реплицирует ваши данные в azure sql db. А azure sql db можно легко перенести на azure sql dw за два шага ;-)

https://azure.microsoft.com/en-us/documentation/articles/sql-data-warehouse-get-started-provision/

ваше преимущество, вы подключаетесь с низкой задержкой к локальному серверу sql и просто ждете, пока не будет выполнена репликация транзакций. ;-)

С уважением, Патрик

person Patrick Heyde    schedule 15.03.2016
comment
Спасибо, Патрик. А что касается HDInsights и SQL DW - мне не удалось найти документацию по их соединению. - person Lambo-Fan; 15.03.2016
comment
@ Lambo-Fan вы делаете одноразовую миграцию или ежедневное обновление? Я не уверен, что этот подход идеально подходит для ежедневного обновления. - person GregGalloway; 16.03.2016

arrow_upward
5
arrow_downward

Лучший и самый быстрый способ загрузить данные в Azure SQL DW - это использовать Polybase для загрузки плоских файлов с разделителями, находящихся в хранилище BLOB-объектов Azure. См. Описание Polybase здесь.

Для загрузки из HDInsight я полагаю, вы могли бы использовать SQOOP (хотя я не пробовал это для загрузки Azure SQL DW), но лучший подход - сделать так, чтобы HDInsight записал в плоский файл (например, путем вставки во внешнюю таблицу в Hadoop), а затем использовал Polybase в Azure SQL DW для чтения файлы.

Извините, я не могу ответить на другие ваши вопросы о Java и Ubuntu.

person GregGalloway    schedule 16.03.2016
comment
Sqoop не работает с хранилищем данных SQL Azure. Причина в том, что Sqoop пытается установить уровень изоляции транзакции своего сопоставителя при попытке чтения / записи в / из хранилища данных SQL Azure для READ COMMITTED, который не поддерживается в хранилище данных SQL Azure, и, таким образом, выдает ошибку. - person rh979; 16.12.2016