Apache Beam - проекция чтения BigQueryIO

У меня есть конвейер потока данных, который читает из таблицы BigQuery. Однако при чтении данных нет другого выхода, кроме как прочитать все записи с read (SerializableFunction) или readTableRows ( ) методы. Мне было интересно, при использовании этих методов, есть ли возможность предоставить проекцию в виде столбца (аналогично HBaseIO Scan addColumn () filter).

Я знаю, что есть возможность выполнить запрос при загрузке данных из BigQuery (используя readTableRows (). fromQuery ()), но мне интересно, есть ли там - это аналогичный вариант для создания проекции, подобный возможному в HBaseIO.


person Robin Trietsch    schedule 22.02.2018    source источник


Ответы (1)


На данный момент fromQuery () - единственный вариант, но это может измениться в будущем.

person jkff    schedule 22.02.2018
comment
Спасибо за ответ, надеюсь, что он будет добавлен в будущем :) - person Robin Trietsch; 23.02.2018