Сбой Google Cloud DataPrep с межрегиональной ошибкой при использовании базы данных EU BigQuery

Сегодня я столкнулся с некоторыми проблемами, разрабатывая новые потоки - первые, которые я прочитал и загрузил в базы данных BigQuery в регионе ЕС.

Чтобы изолировать проблему, я предпринял следующие шаги:

  1. Создать новую базу данных BQ в регионе ЕС
  2. Создайте таблицу, загрузив CSV
  3. Напишите поток, который читает из этой таблицы и выводит в новую таблицу в той же базе данных, без каких-либо преобразований.

И все же работа не выполняется со следующим сообщением:

status: {
    "errorResult": {
        "message": "Cannot read and write in different locations: source: EU, destination: US",
        "reason": "invalid"
    },
    "errors": [{
        "message": "Cannot read and write in different locations: source: EU, destination: US",
        "reason": "invalid"
    }],
    "state": "DONE"
}

Это тестовый поток:

Тестовая последовательность

И это полученный DataFlow:

введите описание изображения здесь


person Adam Hopkinson    schedule 28.02.2018    source источник
comment
в пользовательском интерфейсе BQ - Вкладка "Подробности" - Информация о таблице - можете ли вы проверить Data Location для обеих таблиц?   -  person Mikhail Berlyant    schedule 01.03.2018
comment
Это ЕС. Существует только исходная таблица, назначение должно быть создано после успешного выполнения потока. Местоположение данных db также находится в ЕС.   -  person Adam Hopkinson    schedule 01.03.2018
comment
И целевая таблица - это набор данных BigQuery, куда это также нужно записать в ЕС?   -  person Graham Polley    schedule 01.03.2018
comment
Да, они оба из ЕС   -  person Adam Hopkinson    schedule 01.03.2018
comment
Не могли бы вы сообщить об ошибке через Issueetracker.   -  person Michael Moursalimov    schedule 05.03.2018
comment
Сделаю. У вас есть ссылка? Страница поддержки DataPrep буквально пуста! cloud.google.com/dataprep/docs/resources/support   -  person Adam Hopkinson    schedule 06.03.2018


Ответы (2)


убедитесь, что каталоги, настроенные в профиле, находятся в одном месте (ЕС). Настройки профиля можно изменить на странице профиля пользователя. См. https://cloud.google.com/dataprep/docs/html/User-Profile-Page_57344911

О подобной проблеме сообщалось в https://community.trifacta.com/s/question/0D51L00004pm0mASAQ/wheNever-i-try-to-import-a-data-set-from-bigquery-for-пример-он-дает-мне-эту-ошибку-запрос-данные-не-было-найденоand-wrangle-success-in-the-pastany-ideas

person Sebastian Cyris    schedule 24.07.2018

У меня была такая же проблема с моими источниками данных ЕС. Несмотря на то, что у меня были источники в BQ в UE, промежуточные сегменты DataPrep по умолчанию находились в США.

Я воссоздал ту же структуру корзины, но с использованием местоположения в ЕС, так как я не смог изменить местоположение уже автоматически созданных промежуточных сегментов Dataprep.
И эта ссылка: https://cloud.google.com/dataprep/docs/html/User-Profile-Page_57344911 помог понять где изменить темп, работу, пути загрузки после.

person Doti    schedule 11.03.2020