Извлечь таблицу из SAP BW в Azure Data Lake Gen2 с помощью фабрики данных

Я хотел бы знать процедуру извлечения таблицы из SAP BW, установленного в облаке Azure, в озеро данных Azure Gen2. Я хочу использовать ADF для копирования данных из SAP BW в озеро данных.

Можем ли мы подключить ADF к SAP напрямую с помощью коннектора SAP? Должен ли я установить интеграцию времени выполнения и любую виртуальную машину для этого подключения? В чем разница между соединителем SAP BW Open Hub и SAP BW через MDX?

Хотел бы услышать от экспертов, как извлекать данные из SAP BW, когда SAP также размещается в Azure. Спасибо.


person Lilly    schedule 10.03.2020    source источник


Ответы (2)


Я не эксперт, но разница была объяснена мне человеком BW, где вы можете использовать оба, но с OpenHub вы можете запустить извлечение из запроса BW без участия человека BW, но производительность будет невысокой. Я считаю, что с MDX есть дополнительные разработки, которые необходимо будет настроить на BW, но производительность лучше.

Также имейте в виду, что когда я выполнял эти запросы, мне было трудно распараллелить их, и хотя в документации Microsoft не было хорошего примера, я обнаружил, что все, что я отправлял в BW, было отправлено как один запрос.

В качестве альтернативы моим недавним вариантом использования было получение данных из таблицы в SAP BW вместо куба, чтобы это могло сработать.

Я выполнил инструкции, указанные для соединителя таблиц SAP

Чтобы этот процесс работал, вам понадобится собственный IR (либо на вашем ноутбуке, либо на виртуальной машине, подключенной к ADF), и вам необходимо будет установить следующие драйверы:

Требования к соединителю таблиц SAP

Чтобы получить эти драйверы, вам, вероятно, потребуется обратиться к вашей команде Basis. Им также потребуется создать роль интерфейса (особенно, если вы устанавливаете это соединение впервые и хотите, чтобы учетная запись службы повторно использовалась другими процессами).

После всего этого вам также необходимо добавить RFC-авторизацию в этот интерфейс. Ниже приведены те, которые сработали для меня. Веб-сайт Microsoft действительно предоставляет рекомендуемую авторизацию RFC, но они почти на уровне администратора, и наша команда Basis в основном не хотела этого делать:

S_RFC: FUGR - RFC1, SYST, SYSU FUNC - RFCPING, RFC_FUNCTION_SEARCH ACTVT - 16

В дополнение к вышесказанному нам пришлось запустить несколько тестов и обнаружили, что в зависимости от количества таблиц, из которых вы хотите извлечь данные, им может потребоваться добавить дополнительные авторизации, чтобы вы могли только читать из этой таблицы.

Вышеупомянутый процесс был тем, которым я следовал, поэтому ваш может выглядеть немного иначе, но для выполнения этой работы вам понадобятся: Self Hosted IR, драйверы SAP, установленные на этих IR, правила брандмауэра, позволяющие вам получить доступ к системному идентификатору BW, интерфейс, созданный Basis , затем также RFC-авторизации.

Я обнаружил проблему в документации microsoft github о неправильном списке авторизации RFC: https://github.com/MicrosoftDocs/azure-docs/issues/60637

Также имейте в виду, что способ, которым ADF извлекает данные, сначала отправляет запрос в BW, затем BW создает файл на своем конце, собирая эту информацию, затем файл отправляется обратно в Self Hosted IR, который затем записывает данные в хранилище. счет через ADF. Что может случиться, так это то, что если файл слишком велик, конвейер может выйти из строя, но не из-за ADF, а из-за ограничений на стороне BW.

Надеюсь, мой опыт поможет кому-то застрять :)

person Vitali Dedkov    schedule 02.09.2020
comment
Нет проблем, рад помочь. Я также обнаружил, что проблемой является отсутствие подробной документации для соединений ADF с SAP. Надеюсь, что другие увидят мой пост выше, и это им поможет. Не стесняйтесь задавать вопросы в этой теме, если у вас возникнут проблемы, и я могу попытаться помочь. - person Vitali Dedkov; 09.09.2020

Следуйте официальному руководству на странице https://docs.microsoft.com/en-us/azure/data-factory/connector-sap-business-warehouse. В нем описана необходимая установка NetWeaver RFC DLL с подробным пошаговым руководством.

person AecorSoft    schedule 10.03.2020