Есть ли в Foundry инструмент, который может автоматически заполнять описания столбцов? Если да, то как это называется?

Если вы обновите свой репозиторий кода до версии 1.184.0+, она будет выпущена и доступна с этого момента.

Метод, который вы используете для передачи описаний выходных столбцов, заключается в предоставлении нового необязательного аргумента вашему TransformOutput.write_dataframe(), а именно column_descriptions.

Этот аргумент должен быть dict с ключами имен столбцов и значениями описаний столбцов (длиной до 200 символов по соображениям стабильности).

Код автоматически вычислит пересечение имен столбцов, доступных в вашем pyspark.sql.DataFrame, и ключей в предоставленном вами dict, поэтому он не будет пытаться помещать описания в несуществующие столбцы.

Код, который вы используете для запуска этого процесса, выглядит следующим образом:

from transforms.api import transform, Input, Output


@transform(
    my_output=Output("/my/output"),
    my_input=Input("/my/input"),
)
def my_compute_function(my_input, my_output):
    my_output.write_dataframe(
        my_input.dataframe(),
        column_descriptions={
            "col_1": "col 1 description"
        }
    )