Вопросы по теме 'snappy'
org.apache.hadoop.mapred.YarnChild: ошибка при запуске дочернего элемента: java.lang.OutOfMemoryError: пространство кучи Java
У меня есть быстро сжатый файл размером 90 МБ, который я пытаюсь использовать в качестве входных данных для Hadoop 2.2.0 на AMI 3.0.4 в AWS EMR.
Сразу же при попытке прочитать файл мой считыватель записей получает следующее исключение:...
10748 просмотров
schedule
15.07.2022
Как правильно реализовать LZ4, Snappy или аналогичные методы сжатия в Java?
Я попытался внедрить Java-версию LZ4 в программу поисковой системы, пытающуюся искать данные в больших текстовых файлах. Я просто сжимал поток вывода и сохранял его в файлы txt или файлы без имен. Однако я понял, что предположительно сжатые файлы не...
3915 просмотров
schedule
14.06.2023
Ошибка при чтении сжатого файла Snappy
Я читаю Snappy Compressed file с локального через java .
File snappyFile = new File(fileName);
Configuration conf = new Configuration();
CompressionCodec codec = (CompressionCodec)
ReflectionUtils.newInstance(SnappyCodec.class,...
2028 просмотров
schedule
26.05.2022
Способы написания файлов Parquet с использованием Python?
Мне не удается найти библиотеку, которая позволяет писать файлы Parquet с использованием Python. Бонусные баллы, если я могу использовать Snappy или аналогичный механизм сжатия вместе с ним.
Пока что единственный способ, который я нашел, - это...
33483 просмотров
schedule
16.04.2022
Можно ли разделить файл ORC с сжатием Snappy в Stripe?
Можно ли разделить файл ORC с сжатием Snappy на полосы? Насколько я знаю, сжатый файл Snappy нельзя разделить. Но я прочитал в блоге, что быстро сжатый файл можно разделить на полосы. Это правда?
691 просмотров
schedule
22.07.2023
Ошибка при установке python-snappy
Я в основном пытаюсь установить пакет, который для скорости требует snappy, скомпилированного в c. Я уже скачал и установил необходимый компилятор отсюда https://www.microsoft.com/en-au/download/details.aspx?id=44266 .
Это...
722 просмотров
schedule
22.05.2022
Собственная библиотека snappy недоступна: эта версия libhadoop была собрана без поддержки snappy.
Я получил указанную выше ошибку, когда использовал MLUtils saveAsLibSVMFile. пробовал различные подходы, как показано ниже, но ничего не получалось.
/*
conf.set("spark.io.compression.codec","org.apache.spark.io.LZFCompressionCodec")...
6709 просмотров
schedule
10.03.2023
Wkhtmltopdf Snappy — установка границ для всех страниц
Я использую Laravel-Snappy для создания PDF-файлов с помощью wkhtmltpdf. Я хочу добавить границу на все страницы, созданные в файле PDF. На данный момент я добавил это в css:
body.pdf {
border: 1px solid #000;
}
Мой pdf html выглядит...
2106 просмотров
schedule
06.07.2023
Spark — библиотека Snappy недоступна
Я пытаюсь сохранить модель Mllib.
Код, который я запускал в Spark:
model = RandomForest.trainClassifier(train_data,
numClasses=2, categoricalFeaturesInfo=categoricalFeaturesInfo,...
2357 просмотров
schedule
09.03.2023
В Datashader есть мгновенная ошибка
Я использовал пакет python datashader 0.5.0 для построения информации о плотности населения, как правило, следуя руководству https://www.continuum.io/blog/developer-blog/analyzing-and-visualizing-big-data-Interactively-your-laptop-datashading-2010-us...
437 просмотров
schedule
14.11.2023
Преобразование PNG в PDF с помощью Imagick в PHP
Я создал модуль на Drupal 8, чтобы сгенерировать PDF-файл из узла, поскольку требуется, чтобы этот PDF-файл выглядел точно так же, как страница, которую я хочу создать в формате PNG, и преобразовать ее в PDF с помощью Imagick.
Все идет нормально,...
2662 просмотров
schedule
01.08.2022
Запустите LoadIncrementalHFiles из Java-клиента
Я хочу вызвать метод hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /user/myuser/map_data/hfiles mytable из моего клиентского кода Java.
Когда я запускаю приложение, я получаю следующее исключение:...
345 просмотров
schedule
29.12.2022
не удалось загрузить быстрые нативные библиотеки для HBase
Я пробовал и читал разные блоги, но мне не удалось заставить быстрые библиотеки проверить ИСТИННОСТЬ. Используемая ОС - CentOs 6.9
Версия Java и путь
java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build...
599 просмотров
schedule
02.10.2022
в этом случае можно использовать кодек для распаковки паркетных файлов в spark
Я новичок в Spark и пытаюсь понять, как работают разные кодеки сжатия. Я использую Cloudera Quickstart VM 5.12x, Spark 1.6.0 и API Python.
Если я сжимаю и сохраняю как файлы Parquet, используя следующую логику:...
449 просмотров
schedule
05.10.2022
Установить высоту страницы быстро PDF
Мне нужна определенная высота моего PDF-файла, но я получаю сообщение об ошибке Call to undefined method niklasravnsborg\LaravelPdf\PdfWrapper::setOption() . Может ли кто-нибудь помочь мне с этим?
вот мой подход.
$format["title"] =...
994 просмотров
schedule
02.03.2023
HTTP-запрос без curl или wget (Ubuntu Core Bash)
Как сделать запрос HTTPS (или HTTP) в Ubuntu Core? curl и wget недоступны (и я не знаю никаких альтернатив).
Я пытаюсь обновить DtDns этой строкой: https://www.dtdns.com/api/autodns.cfm?<options>
--
Редактировать Не удалось...
10071 просмотров
schedule
20.05.2023
Javascript - чтение данных паркета (с мгновенным сжатием) из ведра AWS s3
В nodeJS я пытаюсь прочитать файл паркета (сжатие = 'snappy'), но безуспешно.
Я использовал модуль npm https://github.com/ironSource/parquetjs , чтобы открыть локальный файл и прочитать его. но reader.cursor () выдает загадочную ошибку « еще не...
3133 просмотров
schedule
11.08.2022
Как читать файлы журнала Spark? .Iz4 или .Snappy
Я хочу прочитать некоторые журналы, но не могу. До сих пор я пробовал:
hadoop fs -text <file>
Но единственное, что я получаю, это: INFO compress.CodecPool: Got brand-new decompressor [.lz4] (то же самое для .snappy)
val...
454 просмотров
schedule
16.08.2022
невозможно подготовить контекст: невозможно оценить символические ссылки в пути к файлу Docker: lstat /var/lib/snapd/void/Dockerfile: нет такого файла или каталога
Я установил докер на Ubuntu с помощью snap (быстро?), а затем запустил это:
ln -sf /usr/bin/snap /usr/local/bin/docker
когда я запускаю docker build , я получаю:
unable to prepare context: unable to evaluate symlinks in Dockerfile...
2615 просмотров
schedule
23.07.2022
Ошибка выдачи Laravel-Snappy 500 без дополнительной информации
Я хочу создавать PDF-файлы, используя barryvdh\laravel-snappy. Я выполнил все шаги на странице github, но всякий раз, когда я использую такие функции, как
$pdf->output();
$pdf->download("test.pdf");
Я получаю ошибку сервера.
Я...
1495 просмотров
schedule
25.11.2022
