У меня есть некоторые проблемы с сервером истории Spark, и поэтому я попытался распаковать lz4 журналы вручную. Я установил liblz4-tool и скачал журнал приложений application_1510049252849_0303.lz4. Но при распаковке с помощью lz4 ~/application_1510049252849_0303.lz4 я получил следующую ошибку:
Error 44 : Unrecognized header : file cannot be decoded
А это у меня на каждую искру истории lz4 файлов. Каково решение? Есть ли способ открыть его вручную?
Вчера у меня была такая же ошибка при попытке распаковать журналы событий lz4. По-видимому, существует некоторая несовместимость между кодеком hadoop lz4 и другими кодеками lz4: см. https://issues.apache.org/jira/browse/HADOOP-12990.
Как бы то ни было, сервер истории Spark может читать сжатые журналы событий в lz4, поэтому вам не нужно распаковывать их вручную. Надеюсь это поможет.
lz4 не нужно распаковывать при размещении на сервере истории Spark. Просто вы можете поместить свои журналы событий в каталог журнала событий. Он автоматически выберет это приложение и отобразит его в пользовательском интерфейсе Spark History Server.
