Может ли Apache Alluxio использовать Azure Data Lake как в хранилище?

Я создал кластер HDInsight со Spark2.2 и HDI 3.6, который считывает данные из озера данных Azure. Пользователи будут выполнять на нем Spark-SQL, я хочу использовать Alluxio в качестве кеша для ускорения запросов. После некоторого исследования я обнаружил, что хранилище BLOB-объектов Azure поддерживается: http://www.alluxio.org/docs/1.7/en/Configuring-Alluxio-with-Azure-Blob-Store.html. Мне интересно, поддерживает ли также Azure Data Lake?


person Lucas Yang    schedule 20.06.2018    source источник


Ответы (1)


Команда ADLS не поддерживает его, извините.

Не могли бы вы ввести это как запрос функции здесь - https://feedback.azure.com/forums/327234-data-lake? Это поможет нам понять потребность сообщества в этом, а также поможет нам в расстановке приоритетов.

Спасибо, Сачин Шет, менеджер программы, Azure Data Lake Store.

person Sachin Sheth    schedule 26.06.2018