Журналы конвейера фабрики данных Azure

Насколько мне известно, для получения журналов диагностики вы можете использовать Azure Monitor, Управление операциями Suite (OMS) или отслеживайте эти конвейеры визуально..

Под Azure Pipeline v2 вы имеете в виду фабрику данных Azure v2. Фабрики данных предупреждений и мониторинга с помощью Azure Monitor

Журналы диагностики:

• Сохраните их в учетной записи хранения для аудита или проверки вручную. Вы можете указать срок хранения (в днях) в настройках диагностики.
• Потоковая передача их в концентраторы событий для приема сторонней службой или специализированным аналитическим решением, например PowerBI.
• Анализируйте их с помощью Log Analytics

Журналы хранятся на веб-сервере фабрики данных Azure в течение 45 дней. Если вы хотите получить метаданные выполнения конвейера и выполнения действий, вы можете использовать пакет SDK фабрики данных Azure для извлечения необходимой информации и сохранения ее в нужном месте.

Рекомендуемый подход к этому для анализа терминов журнала, а также ограничения доступа к производственной фабрике данных - настроить журналы для отправки в аналитику журналов. Обязательно включите выделенные таблицы журналов, так как это поможет на сервере с точки зрения организации ваших журналов.

Оттуда вы также можете настроить оповещения и группы доступа, выполняющие запросы аналитики журналов, для лучшего мониторинга.