получить количество файлов из папки в u-sql для обработки

Как получить количество файлов из папки (каталога) в u-sql

если в папке более одного файла, обрабатывайте только последний файл, в противном случае обрабатывайте первый файл !!


azure-data-lake azure-stream-analytics azure-analytics u-sql
person steve    schedule 09.10.2019    source источник
comment
Это возможно, когда ваши файлы имеют такое же имя, как File1, File2, File3 и т. д. Так что в этом случае вы можете попробовать получить его как /someFolder/File{0}.csv.   -  person Kiril1512    schedule 16.10.2019
comment
Можете ли вы уточнить это.   -  person steve    schedule 17.10.2019

Ответы (1)


arrow_upward
0
arrow_downward

Как я сказал в комментариях, вы можете сделать что-то вроде этого:

DECLARE EXTERNAL @input string = @"/someFolder/{file}.csv";

@extractedData = EXTRACT file as string,
                         col1 as number,
                         col2 as string
                         FROM @input
                         USING new Extractors.Csv();

Таким образом, вы извлечете все файлы в папку и будете использовать ее, даже если это один файл или несколько. Вы должны гарантировать, что файлы имеют одинаковую структуру, иначе ваш экстрактор выдаст ошибку, например

"ожидал 3 столбца, но получил "x" столбцов...

После этого вы можете работать с данными ваших файлов.

person Kiril1512    schedule 17.10.2019
comment
я хочу знать количество файлов из каталога в u-sql. как мы можем добиться этого в u-sql? - person steve; 01.11.2019