Вопросы по теме 'gzipinputstream'

Функция PHP gzuncompress в Java?
Я сжимаю строку с помощью PHP-функции gzcompress(): http://us2.php.net/manual/en/function.gzcompress.php Я хотел бы получить результат функции сжатия PHP и распаковать строку в Java. Может ли кто-нибудь направить меня по правильному пути?...
2942 просмотров
schedule 30.04.2022

Загрузка больших файлов данных, сжатых с помощью gzip, в HDFS
У меня есть вариант использования, когда я хочу загрузить большие файлы текстовых данных в формате gzip (~ 60 ГБ) на HDFS. Мой код ниже занимает около 2 часов, чтобы загрузить эти файлы кусками по 500 МБ. Ниже приведен псевдокод. Я проверял,...
2578 просмотров
schedule 25.01.2024

Чтение последних *n* строк из GZIPInputStream
Я читаю огромный текстовый файл внутри zip. GZIPInputStream fstream = new GZIPInputStream(new FileInputStream(zipfile)); BufferedReader breader = new BufferedReader(new InputStreamReader(fstream)); Мне нужно прочитать последние n строк...
559 просмотров
schedule 21.07.2023

Как улучшить производительность чтения файла в папке tar.gz?
Я успешно прочитал файл PDF в папке формата tar.gz. Но я столкнулся с проблемой производительности - требуется больше времени, чтобы открыть папку tar.gz, содержащую более 1000 небольших файлов PDF, каждый размер файла 10–25 МБ. Общий размер папки...
1362 просмотров
schedule 06.05.2023

GZIPInputStream преждевременно закрывается при чтении из s3
new BufferedReader(new InputStreamReader( new GZIPInputStream(s3Service.getObject(bucket, objectKey).getDataInputStream()))) создает Reader, который возвращает null из readLine() после ~100 строк, если файл больше нескольких МБ. Не...
580 просмотров

EOFException: null при применении gzip к dropwizard вместе с фильтром
Мы сталкиваемся с исключением при использовании dropwizard-core:1.1.2 при попытке добавить кодировку содержимого gzip в заголовки ответов службы. Подробности следующие: GzipFilter.class public class GzipFilter implements Filter {...
603 просмотров
schedule 01.05.2024

commons-io: java.io.EOFException: неожиданный конец входного потока ZLIB
Я использую библиотеку Apache commons-io версии 2.6 для разбора zip-потока и получения его байтов. Но когда я вызываю IOUtils.toByteArray(zipStreamObject) , я получаю java.io.EOFException: неожиданный конец входного потока ZLIB . Вот мой...
1171 просмотров
schedule 26.05.2023

обрабатывать большой файл из s3 без проблем с памятью
Я пытаюсь прочитать большой файл CSV с S3. Размер моего файла составляет 100 МБ в формате GZip, который мне нужно разархивировать, а затем прочитать данные csv. ТАК Я нашел ниже ответ для того же и ниже фрагмента кода сделать Хитрость....
913 просмотров

Java переименовывает содержимое файла zip/gz без раздувания
Для .zip-файла в Java у нас есть ZipInputStream и ZipOutputStream для чтения и записи в zip-файл. zin = new ZipInputStream(new FileInputStream("xx.zip")); ZipEntry entry = zin.getNextEntry(); while (entry != null) { String...
95 просмотров