Обходной путь Glue job: вызовите лямбду, чтобы узнать секреты. Но это не работает с Glue (но работает с EC2)

Мне нужно получить задание Python Shell Glue для некоторых учетных данных базы данных, хранящихся в AWS Secrets Manager.

Это должно быть просто, но организация, в которой я работаю, похоже, имеет запутанную роль менеджера секретов, которую я до сих пор не мог изменить, чтобы делать то, что я хочу.

Мой обходной путь вызова Lambda, чтобы получить секрет для возврата к клею, работал, когда я тестировал на EC2, но из Glue вызов Lambda зависал навсегда. Я удостоверился, что роль, в которой я работаю, имеет «Полный доступ к лямбде», так что это было не так.

Любые идеи? Большое спасибо.


person Mark McWiggins    schedule 11.05.2020    source источник
comment
Повторяющийся вопрос: stackoverflow.com/questions/61720927/?   -  person Yuva    schedule 12.05.2020


Ответы (2)


Мой коллега перешел с AWS Glue Python Shell на Spark с Python, и это сработало!

Видимо есть что-то другое в настройке сети в оболочке Python?

person Mark McWiggins    schedule 12.05.2020

Обновите предыдущий неправильный ответ: что-то было в коде, который я использовал в версии Python Shell, что вызывало проблему; Я внес некоторые изменения в версию Spark Python и заставил ее работать.

Одно замечание по производительности: Spark требуется 11–14 минут только для запуска выполнения Python, при этом оболочка Python запускается практически сразу. Так что последний отлаживать намного быстрее.

person Mark McWiggins    schedule 21.05.2020