Как сделать ReadAllFromText не конвейером Block Beam?

Я хотел бы реализовать очень простой конвейер луча:

read google storage links to text files from PubSub topic->read each text line by line->write to BigQuery.

Apache Beam имеет предварительно реализованный PTransform для каждого процесса.

Таким образом, конвейер будет:

Pipeline | ReadFromPubSub("topic_name") | ReadAllFromText() | WriteToBigQuery("table_name")

Однако ReadAllFromText() каким-то образом блокирует конвейер. Создание собственного PTransform, который возвращает случайную строку после чтения из PubSub и записи ее в таблицу BigQuery, работает нормально (без блокировки). Добавление фиксированного окна в 3 секунды или срабатывание каждого элемента также не решает проблему.

Каждый файл составляет около 10 МБ и 23 тыс. строк.

К сожалению, я не могу найти документацию о том, как должен работать ReadAllFromText. Было бы очень странно, если бы он пытался заблокировать конвейер, пока не прочитает все файлы. И я ожидаю, что функция будет передавать каждую строку в конвейер, как только она прочитает строку.

Есть ли известная причина вышеуказанного поведения? Это баг или я что-то не так делаю?

Код конвейера:

pipeline_options = PipelineOptions(pipeline_args)
    with beam.Pipeline(options=pipeline_options) as p:
        lines = p | ReadFromPubSub(subscription=source_dict["input"]) \
                | 'window' >> beam.WindowInto(window.FixedWindows(3, 0)) \
                | ReadAllFromText(skip_header_lines=1)

            elements = lines | beam.ParDo(SplitPayload())

            elements | WriteToBigQuery(source_dict["output"], write_disposition=BigQueryDisposition.WRITE_APPEND)
    .
    .
    .
    class SplitPayload(beam.DoFn):
        def process(self, element, *args, **kwargs):

            timestamp, id, payload = element.split(";")

            return [{
                'timestamp': timestamp,
                'id': id,
                'payload': payload
            }]