в этом случае можно использовать кодек для распаковки паркетных файлов в spark

Сжатие хорошо, потому что оно экономит неактивное хранилище и пропускную способность передачи (как с точки зрения локального дискового ввода-вывода, так и с точки зрения сети), но это происходит за счет вычислительной мощности. Это метрики, которые следует учитывать при выборе алгоритма сжатия данных: в зависимости от ваших ожиданий вы можете выбрать подходящий.

Но в целом Snappy был специально разработан, чтобы быть относительно легким для ЦП, обеспечивая при этом достаточную экономию памяти/пропускной способности, что делает его более чем подходящим для многих случаев использования (именно поэтому он используется по умолчанию).

Разумное предложение, конечно, состоит в том, чтобы измерить и принять решение, основанное на ваших наблюдениях за вашей конкретной установкой, но я считаю справедливым сказать, что вы не должны ожидать значительного относительного улучшения в использовании ресурсов (но, вероятно, достаточно, чтобы иметь некоторую экономическую значимость если вы работаете с действительно массивным кластером).