Сохранение файлов CSV в Foundry Transforms

Можно ли сохранить файл CSV в репозиториях Foundry Code Repositories на языке transforms-python, а не сохранять их в формате Parquet?


person Adil B    schedule 23.09.2020    source источник


Ответы (1)


Да, это можно сделать, указав формат выходного набора данных при вызове функции write_dataset. Вы также можете включить параметры сжатия при совершении звонка. Например:

@transform(
    my_input = Input('/path/to/input/dataset'),
    my_output = Output('/path/to/output/dataset')
)
def compute_function(my_input, my_output):
    my_output.write_dataframe(
        my_input.dataframe(),
        output_format = "csv",
        options = {
            "compression": "gzip"
        }
    )
person Raj    schedule 24.09.2020