Вопросы по теме 'azure-data-factory'
Как избежать создания hdinsight по запросу в фабрике данных Azure каждый раз при создании нового контейнера
При использовании hdinsight по запросу в фабрике данных Azure он создает новый контейнер больших двоичных объектов при каждом запуске. Я хотел бы указать на существующее хранилище BLOB-объектов или, по крайней мере, предотвратить создание нового...
777 просмотров
schedule
28.03.2022
Как создать папку по дате с помощью фабрики данных?
Я использую фабрику данных, и у меня есть действие, которое копирует данные из одного места в другое. Однако я бы хотел, чтобы место назначения было похоже на «контейнер / год / месяц / день», где автоматически генерируются год, месяц и день. Адрес...
4377 просмотров
schedule
03.05.2023
Не удается создать или опубликовать приложение Фабрики данных Azure.
Каждое приложение фабрики данных, которое я пытаюсь создать в Visual Studio 2015, даже пробные, не может быть создано или опубликовано из-за:
"В экземпляре объекта не задана ссылка на объект." ошибка в каждом файле .json.
Есть ли какая-то...
1224 просмотров
schedule
18.03.2023
Ошибка при попытке переместить данные из таблицы Azure в хранилище DataLake с помощью DataFactory
Я создавал конвейер Datafactory для перемещения данных из моего хранилища таблиц Azure в хранилище datalake, но задачи не выполняются, за исключением того, что я не могу найти никакой информации. Ошибка
При копировании произошла ошибка...
1176 просмотров
schedule
28.01.2023
Создайте проект фабрики данных Azure с помощью TFS Build Server 2013.
У меня есть проект фабрики данных в моем решении, и сейчас я создаю определение сборки.
Когда сервер сборки начинает сборку решения, он выдает исключение о том, что путь...
940 просмотров
schedule
08.03.2024
Обработка ошибок в Azure Pipeline из CSV-файла в блоге в Azure Sql
Я создаю конвейер в фабрике данных, который принимает CSV-файл в блоге и загружает его в Azure SQL. В некоторых строках файла csv будет отсутствующий / лишний разделитель. Таким образом, для этой конкретной строки количество строк в CSV-файле и в...
74 просмотров
schedule
02.04.2022
Передача свойств в действие U-SQL через конвейер фабрики данных Azure с помощью параметров?
Я хочу передать свойства времени начала/окончания фрагмента конвейера в действие U-SQL через свойство «параметры» действия/конвейера.
Цель состоит в том, чтобы генерировать динамические имена файлов на основе даты запуска слайса и организовывать...
953 просмотров
schedule
27.05.2022
Использование SqlReaderQuery в конвейере данных
Я копирую данные из базы данных SQL Azure в большой двоичный объект с помощью запроса.
Вот сценарий активности:
{
"type": "Copy",
"typeProperties": {
"source": {
"type": "SqlSource",
"sqlReaderQuery":...
617 просмотров
schedule
15.09.2022
Репликация базы данных SQL Azure в базу данных Azure SQL
У кого-нибудь есть идея, как лучше всего реализовать непрерывную репликацию некоторых таблиц БД из базы данных SQL Azure в базу данных SQL Azure (PaaS) добавочным способом.
Я пробовал предварительный просмотр синхронизации данных (схема не...
590 просмотров
schedule
03.12.2022
Как автоматизировать создание набора данных в .NET SDK для фабрики данных Azure?
Я использую Microsoft Azure Data Factory .NET SDK для автоматизации создания наборов данных для большого количества таблиц.
Метод в моем консольном приложении .NET дает мне возможность создавать наборы данных ввода и вывода на основе указанного...
447 просмотров
schedule
15.11.2022
Предотвратить запуск фрагмента в исходных файлах фрагментов нулевого размера
Мои конвейеры имеют исходный набор данных типа AzureBLOB.
Это почасовой набор данных, поэтому конвейеры продолжают получать почасовые срезы. Но проблема в том, что многие исходные файлы фрагментов имеют нулевой размер . Но трубопроводы...
105 просмотров
schedule
06.06.2022
Копирование с сервера OnPrem SQL в DocumentDB с помощью настраиваемого действия в конвейере ADF
Я пытаюсь скопировать данные из таблицы SQL на локальном сервере sql и загрузить их в базу данных документов, используя настраиваемое действие в конвейере фабрики данных Azure. Может ли кто-нибудь сказать мне, как я могу это сделать с помощью...
774 просмотров
schedule
30.07.2022
Локальное соединение SQL, генерирующее исключение SqlException в настраиваемом действии Datafactory
Я добавил код для настраиваемого действия фабрики данных Azure в пакетной службе Azure и указал конвейер фабрики данных на службу bacth. Когда я выполняю код в локальной среде, он работает нормально. Но когда я загружаю его для запуска в пакетной...
266 просмотров
schedule
17.05.2023
rest api неавторизованный каталог данных Azure
Я использую каталог данных Azure моей организации. Я не являюсь создателем / администратором / владельцем Каталога, но у меня есть доступ для регистрации / удаления каталогов через веб-интерфейс.
Я хочу использовать rest API для каталога данных...
871 просмотров
schedule
31.03.2022
Не удалось отправить задание, пользователь ‹имя учетной записи аналитики озера данных› не имеет прав доступа к вложенной папке
Не удалось отправить задание, пользователь datalakeanalyticsaccountname не имеет разрешений на подпапку в пути / system /, необходимую для Data Lake Analytics. Запустите «Мастер добавления пользователя» на портале Azure Data Lake Analytics или...
439 просмотров
schedule
21.02.2023
Нет конвейерных диаграмм в фабрике данных Azure
Я создал 2 конвейера с помощью мастера копирования данных, но ни один из них не отображается, когда я нажимаю действие «Диаграмма». Я получаю сообщение «Эта фабрика не содержит конвейеров или наборов данных». Конвейеры работают успешно и...
775 просмотров
schedule
20.10.2022
Можно ли использовать управляемые таблицы U-SQL в качестве выходных наборов данных в фабрике данных Azure?
У меня есть небольшой конвейер ADF, который копирует серию файлов из учетной записи хранения Azure в учетную запись Azure Data Lake. В качестве последнего действия в конвейере я хочу запустить сценарий U-SQL, который использует скопированные файлы в...
743 просмотров
schedule
24.05.2022
Импорт файла .tar с помощью фабрики данных Azure
Как импортировать файл TAR с помощью фабрики данных Azure и разархивировать (распаковать) его в хранилище озера данных Azure. Я мог бы найти это возможным для файлов .gZ и .zip, но не для .tar!
К вашему сведению, мой файл .tar находится в...
1031 просмотров
schedule
09.12.2022
ADF не может проанализировать DateTimeOffset
У нас есть JSON, которые содержат отметки времени в формате:
2016-11-03T03:05:21.673Z
2016-11-03T03:05:21.63Z
Таким образом, соответствующий формат для анализа данных - yyyy-MM-ddTHH: mm: ss.FFF \ Z
Я попробовал все эти варианты, чтобы...
2268 просмотров
schedule
20.06.2023
У клиента с идентификатором объекта нет авторизации для выполнения действия Microsoft.DataFactory / datafactories / datapipelines / read за пределами области видимости.
Я пытался программно вызвать конвейер фабрики данных из функции Azure. Его бросает следующую ошибку.
ссылка: http://eatcodelive.com/2016/02/24/starting-an-azure-data-factory-pipeline-from-c-net/
AuthorizationFailed: клиент...
76454 просмотров
schedule
04.09.2023
