API Java облачного потока данных Google не читает тему pubsub другого проекта

У меня есть только одна тема, созданная в продакшн-проекте. Я хочу запустить задание потока данных в среде разработки, которая должна использовать рабочую тему pubsub. Когда я отправляю свое задание потока данных в проект разработчика, оно не работает и всегда отображается в пользовательском интерфейсе потока данных, но не читает какие-либо элементы из pubsub. Если я отправлю в продакшн проект, он будет работать отлично.

Почему не читает сообщения из другой темы проекта? Я использую java-sdk 2.1, а бегун - "dataflowrunner"

PCollection<String> StreamData = p.apply("Read pubsub message",PubsubIO.readStrings().fromSubscription(options.getInputPubSub()));

Использование mvn для отправки задания потока данных

mvn compile exec:java -Dexec.mainClass=dataflow.streaming.SampleStream  -Dexec.args="—project=project-dev-1276 --stagingLocation=gs://project-dev/dataflow/staging --tempLocation=gs://project-dev/dataflow/bq_temp  --zone=europe-west1-c  --bigQueryDataset=stream_events --bigQueryTable=events_sample --inputPubSub=projects/project-prod/subscriptions/stream-events --streaming=true --runner=dataflowRunner"

Примечание. Если я использую directrunner, он работает и принимает сообщения из другой темы pubsub проекта. введите здесь описание изображения

В очередь не добавлены элементы и оценочный размер.


comment
вы решили эту проблему?   -  person Marcin Zablocki    schedule 03.08.2018


Ответы (1)


Вам необходимо добавить Pub/Sub Subscriber разрешения в ваш производственный проект для пользователя (учетной записи службы), который будет использовать ваша работа. По умолчанию рабочие используют учетную запись службы Compute Engine вашего проекта в качестве учетной записи службы контроллера. Этой учетной записи службы (<project-number>[email protected]) должно быть предоставлено Pub/Sub Subscriber разрешение.

Подробнее читайте здесь https://cloud.google.com/dataflow/docs/concepts/security-and-permissions и здесь https://cloud.google.com/pubsub/docs/access-control

person przemod    schedule 08.03.2019