Вопросы по теме 'lz4'

Объяснение алгоритма сжатия LZ4
Описание из Википедии : Алгоритм LZ4 представляет данные как серию последовательностей. Каждая последовательность начинается с однобайтового токена, который разбит на два 4-битных поля. Первое поле представляет количество литеральных байтов,...
8420 просмотров
schedule 08.10.2022

Как правильно реализовать LZ4, Snappy или аналогичные методы сжатия в Java?
Я попытался внедрить Java-версию LZ4 в программу поисковой системы, пытающуюся искать данные в больших текстовых файлах. Я просто сжимал поток вывода и сохранял его в файлы txt или файлы без имен. Однако я понял, что предположительно сжатые файлы не...
3915 просмотров
schedule 14.06.2023

Как использовать tar с lz4?
Как использовать tar и фильтровать архив через LZ4 ? Или любые доступные инструменты? Использование tar cvf folderABC.tar folderABC && lz4c -c0 folderABC.tar выглядит громоздко. PS: *среда nix
20621 просмотров
schedule 18.04.2023

Распаковка byte[] с помощью LZ4
Я использую LZ4 для сжатия и распаковки строки. Я пробовал следующим образом public class CompressionDemo { public static byte[] compressLZ4(LZ4Factory factory, String data) throws IOException { final int decompressedLength =...
4271 просмотров
schedule 05.05.2023

LZ4: декомпрессия блока двоичной памяти неизвестного размера
Я пытаюсь распаковать блок памяти, но я не знаю его исходного несжатого размера, однако я знаю максимальный размер этого исходного блока памяти. Есть ли способ распаковать с LZ4, не зная исходного несжатого размера? Краткий рассказ-длинный: я...
1594 просмотров
schedule 04.10.2022

Сжатие файлов LZ4 в Java
Каков наилучший способ передать огромный файл CSV в API сжатия LZ4? Следующее не оптимально для очень больших файлов. byte[] data = file.getBytes();
991 просмотров
schedule 30.05.2023

Сжать папку в один файл с помощью командной строки lz4
Мне нужно сжать все содержимое каталога в один архив lz4 , я не мог найти способ сделать это. Я уже прочитал все доступные параметры, но безуспешно. Пожалуйста, предложите мне, как я могу достичь этого.
2807 просмотров
schedule 22.04.2023

Распаковать поток LZ4 неизвестного размера
Я хочу распаковать необработанный поток LZ4 внутри двоичных данных. Я прочитал документацию и придумал следующую функцию. Согласно коду, он должен продолжать распаковывать до тех пор, пока не закончатся сжатые данные, но этого не происходит. Что я...
985 просмотров
schedule 10.01.2023

Журналы истории Spark распаковываются вручную
У меня есть некоторые проблемы с сервером истории Spark, и поэтому я попытался распаковать lz4 журналы вручную. Я установил liblz4-tool и скачал журнал приложений application_1510049252849_0303.lz4 . Но при распаковке с помощью lz4...
1177 просмотров
schedule 14.07.2022

Проблема с компиляцией LZ4HC: LZ4_compressBound не определено
Я попытался создать исполняемый файл для LZ4HC (я использовал исходный код с домашней страницы lz4), но когда я пытался выполнить файл, он отображал «Ошибка символа LZ4_compressBound undefined». Ни статическая линковка, ни динамическая линковка не...
602 просмотров

CMakeLists.txt не находится в корневом каталоге, автоматическая сборка невозможна.
У меня проблема с репозиторием, в корневом каталоге которого нет CMakeLists, а именно https://github.com/lz4/lz4 CMakeLists.txt находится в подпапке contrib/cmake_unofficial. Я уже проверял подобные вопросы на SO ( Возможно ли иметь файл сборки...
1122 просмотров
schedule 12.04.2024

Как читать файлы журнала Spark? .Iz4 или .Snappy
Я хочу прочитать некоторые журналы, но не могу. До сих пор я пробовал: hadoop fs -text <file> Но единственное, что я получаю, это: INFO compress.CodecPool: Got brand-new decompressor [.lz4] (то же самое для .snappy) val...
454 просмотров
schedule 16.08.2022

Использование LZ4 для добавления к существующему .lz4 (zip) в Java
Я сжимаю в java, используя следующее и библиотеку LZ4. Если я попытаюсь снова вызвать этот метод для того же имени файла, он перезапишется новым содержимым вместо добавления. Есть ли способ добавить с помощью LZ4? Я просто хочу позже добавить еще...
26 просмотров
schedule 26.02.2023

Потоковая передача содержимого из файла lz4 с использованием InputStreamReader — Stream Corrupted — Java
Я пытаюсь передать данные из сжатого файла lz4 и записать их в StringBuilder . Но я получаю исключение "Поток поврежден". Ниже мой код. import java.io.ByteArrayInputStream; import java.io.File; import java.io.IOException; import...
98 просмотров
schedule 26.04.2023

Ошибка malloc показывает испорченный размер по сравнению с prev_size
Я пытаюсь написать код для проверки скорости сжатия и распаковки lz4. Однако, когда я добавляю в код функцию распаковки, начинает проявляться ошибка, искаженная размером по сравнению с prev_size. На мой взгляд, проблемы должны быть в функции calloc...
48 просмотров
schedule 27.01.2023