Мои конвейеры имеют исходный набор данных типа AzureBLOB.
Это почасовой набор данных, поэтому конвейеры продолжают получать почасовые срезы. Но проблема в том, что многие исходные файлы фрагментов имеют нулевой размер. Но трубопроводы продолжают это и добиваются успеха. Я не хочу этого.
В то же время я не хочу жестко задавать какую-либо политику «минимального» размера в конвейере (я знаю, что есть некоторые такие настройки, которые мы можем предоставить для конвейера).
Я просто хочу сказать: «Конвейер должен обрабатывать только файлы ненулевого размера, неважно, какого размера. Как мы можем гарантировать это? По сути, слайс должен повторять попытку> и в конечном итоге потерпеть неудачу, если файл слайса имеет нулевой размер. .
