Как интегрировать Github с каталогом данных в AWS Glue

Этот вопрос касается каталога данных AWS Glue.

Я хочу построить такой процесс:

Подключите Github к каталогу данных AWS Glue -> Запрос на извлечение кода каталога данных (источник) -> Слияние -> Отражение измененного кода в каталоге данных AWS Glue -> Измененная информация каталога данных создается Markdown. Или обновите информацию в Confluence

Цель этой работы - сделать каталог данных доступным для чтения не разработчикам.

Это возможно? Какую литературу мне следует читать? Любые советы приветствуются! Помощь!!


github aws-glue aws-glue-data-catalog aws-data-pipeline
person J184937    schedule 15.10.2019    source источник
comment
Вы должны объяснить это лучше. Вы можете прочитать некоторые документы glue и git, чтобы использовать правильные технические слова. Описание сбивает с толку. Glue - это ETL, Github - это репозиторий, а каталог данных - это не исходный код, а содержит метаданные, которые хранятся / управляются AWS. Самое большее, вы можете создавать / обновлять / удалять базы данных, таблицы в Каталоге данных, но не можете изменять Каталог данных.   -  person Sandeep Fatangare    schedule 15.10.2019
comment
@SandeepFatangare Моего вопроса недостаточно. Извините. Кроме того, мне нужен способ для каталога данных AWS Glue, чтобы показывать не разработчикам содержимое каталога данных, созданного поисковым роботом. Мне нужно показать людям, не являющимся разработчиками, имена, описания и атрибуты столбцов, определенных в каталоге данных. Я не могу открывать им учетную запись каждый раз, поэтому мне нужно автоматизировать ее, чтобы они могли видеть ее со стороны. Я слышал, что каталог данных - это тоже таблица, можно ли получить к нему внешний доступ?   -  person J184937    schedule 16.10.2019

Ответы (1)


arrow_upward
1
arrow_downward

Вариант 1. Вы можете использовать API-интерфейсы boto3 glue для получения информации о таблицах - get_table или get_tables()

Вы можете сослаться на https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.get_tables Он также содержит примеры использования и ответов.

Как только ответ будет получен, вы можете показать его на веб-странице.

Преимущество: нетехнический человек может получить доступ без какой-либо настройки

Disadvatange: Разработчик должен писать код

Вариант 2. Используйте командный инструмент AWS CLI. Ссылка: https://docs.aws.amazon.com/cli/latest/reference/glue/get-table.html

Преимущество: код от разработчика не требуется.

Недостаток: клиент должен знать, как настраивать и использовать команды интерфейса командной строки AWS и их вывод.

person Sandeep Fatangare    schedule 16.10.2019