Как избежать создания hdinsight по запросу в фабрике данных Azure каждый раз при создании нового контейнера

При использовании hdinsight по запросу в фабрике данных Azure он создает новый контейнер больших двоичных объектов при каждом запуске. Я хотел бы указать на существующее хранилище BLOB-объектов или, по крайней мере, предотвратить создание нового хранилища BLOB-объектов при каждом запуске. Могу ли я сделать это?


azure azure-data-factory azure-hdinsight
person HHH    schedule 19.11.2015    source источник
comment
вы используете manage.windowsazure.com или portal.azure.com   -  person Brij Raj Singh - MSFT    schedule 19.11.2015
comment
Я использую portal.azure.com   -  person HHH    schedule 19.11.2015

Ответы (2)


arrow_upward
0
arrow_downward

Фабрика данных Azure (ADF) каждый раз указывает имя фабрики данных - имя связанной службы - отметку даты и времени в качестве имени контейнера. он создает кластер HDI по запросу. Если имя слишком длинное, оно обрезается.

По умолчанию, когда кластер удаляется, базовый контейнер хранения, связанный с кластером, не удаляется. Это поведение HDInsight, а не ADF.

Как упоминалось выше, АПД не использует один и тот же контейнер; в настоящее время это сделано намеренно. Я поделился вашим мнением о возможности упоминания конкретного контейнера как части JSON команде продукта.

person Sreedhar Pelluru    schedule 19.11.2015
comment
Итак, у меня есть конвейер, в котором первое действие является действием HDInsight и генерирует файл, а второе действие - действием копирования и хочет скопировать файл в documentdb. однако, поскольку контейнер для кластера hdinsight каждый раз меняется, второе действие завершается ошибкой. Я использовал один и тот же набор данных для вывода первого действия и ввода второго, а также ключевое слово пользователя «контейнер» в качестве имени контейнера, но он просто не работает. Любое решение? - person HHH; 27.11.2015
comment
Похоже, что в 2017 году все было так же, HDInsight по запросу создает новый контейнер при каждом запуске. - person chhantyal; 31.05.2017

arrow_upward
0
arrow_downward

Сридхар. Это большая проблема для функций HDInsight On Demand в ADF. Я пытаюсь запустить HDInsightOnDemand с интервалом в 1 час, и при этом создается много контейнеров.

person Steve Kludt    schedule 25.11.2015