Как запланировать задание на выполнение скрипта Python в облаке для загрузки данных в bigquery?

Я пытаюсь настроить задание / процесс расписания в облаке для загрузки данных CSV в Bigquery из ведер Google с помощью скрипта Python. Мне удалось удержать код Python, чтобы сделать это, но я не уверен, где мне нужно сохранить этот код, чтобы эту задачу можно было выполнить как автоматизированный процесс, а не запускать команды gsutil вручную.


python google-cloud-platform google-bigquery gsutil
person LondonUK    schedule 13.10.2016    source источник
comment
В каком облаке вы пытаетесь запустить свой код? Google Bigquery может только хранить данные и выполнять запросы к ним. Он не предназначен для запуска произвольного кода, для этого есть обычное Google Cloud.   -  person ivan_pozdeev    schedule 13.10.2016
comment
Привет, Иван, спасибо за быстрый ответ. Мы используем облачную платформу Google. Я знаю, что bigquery может только хранить данные, и в него невозможно настроить какой-либо другой скрипт кода. Я просто хочу, где я должен сохранить свой файл сценария python на облачной платформе Google и создать задание для выполнения этого сценария и как настроить этот процесс.   -  person LondonUK    schedule 13.10.2016
comment
это не работает для вас? cloud.google.com/appengine/docs/python/config/cron   -  person HassenPy    schedule 13.10.2016

Ответы (1)


arrow_upward
3
arrow_downward

Надежное планирование задач в Google Compute Engine | Решения | Google Cloud Platform, первая ссылка в Google на «Планирование работы cron в облаке Google», дает общий обзор. Планирование задач с помощью Cron для Python | Стандартная среда App Engine для Python | Google Cloud Platform, вторая ссылка, содержит пошаговые инструкции. Они сводятся к:

  • Создайте cron.yaml в указанном формате вместе с вашим app.yaml
  • при желании протестируйте его на сервере разработки
  • загрузите его в Google Cloud с помощью appcfg.py update или update_cron
person ivan_pozdeev    schedule 13.10.2016
comment
Я обнаружил, что это решение работает поверх настроек приложения. Поскольку я только что создал сценарий и не очень знаком с разработкой приложений, я все еще работаю над тем, как настроить этот сценарий для этого параметра приложения ... или как создать приложение, из которого я могу вызывать сценарии. У кого-нибудь есть ссылка, как это сделать? Спасибо. - person Diego-MX; 23.02.2019