Я пытаюсь использовать настраиваемое преобразование, используя столбец в плагине Wrangler.
Есть ли документация, в которой я могу найти список функций для применения настраиваемого преобразования? Также для конкретного случая я хочу заменить значение столбца на основе условия IF-ELSE (или нескольких случаев). Есть ли какой-нибудь способ?
Пользовательское преобразование поддерживает JEXL, поэтому вы можете найти список применяемых функций здесь: Синтаксис JEXL. Дополнительную информацию о как сделать if-else.
Вы можете использовать любую из директив Wrangler в настраиваемом преобразовании. Страница GitHub для в плагине есть исчерпывающий список с примерами. Как сказал Али Анвар, директивы поддерживают синтаксис JEXL. Для примера взгляните на set -column.
Dynamic Spark, который выполняет предоставленный пользователем искровой код, написанный на scala. Его можно использовать для преобразования RDD с полным доступом ко всем функциям Spark. - person Neelesh schedule 18.10.2019