Вопросы по теме 'rocksdb'

несколько экземпляров rockdb
На многоядерном сервере (или кластере) требуется развернуть базу данных rockdb на каждом ядре, которая не зависит друг от друга, т.е. не ищет распределенную базу данных. Это возможно? Для каждой базы данных в памяти необходимо ли...
1927 просмотров
schedule 28.11.2022

Использование MEssaging Queue, таких как AMQP, ZMQ, Kafka и т. д. с Rocksdb
Я просмотрел некоторые материалы, доклады и некоторую документацию по rockdb. Я нахожу это интересным для некоторых случаев использования. Я хотел бы понять, как его можно использовать для заполнения данных с помощью очередей сообщений, таких как...
394 просмотров
schedule 28.04.2023

Ошибка RocksDB IO: блокировка db/LOCK: нет доступных замков
Я разрабатываю многопоточный сервер, который хранит и читает информацию из БД. БД реализована с помощью RocksDB. Проблема, с которой я сталкиваюсь, заключается в том, что когда я обращаюсь к БД из более чем одного потока за раз, я получаю эту...
1350 просмотров
schedule 08.09.2022

Как удалить данные старше нескольких дней в базах данных rockdb или leveldb?
Я хочу создать инструмент для удаления всех данных старше нескольких дней в базе данных rockdb или leveldb, но я не знаю, как его запустить.
1108 просмотров
schedule 15.05.2024

Распараллелить итератор rockdb
Мой код итератора: Iterator* iterator = _db->NewIterator(ReadOptions()); for (iterator->SeekToFirst(); iterator->Valid(); iterator->Next()) { Slice const& key = iterator->key(); Slice const& value =...
816 просмотров

UnsatisfiedLinkError на Lib качает DB dll при разработке с Kafka Streams
Я пишу приложение Kafka Streams на своей машине Windows для разработки. Если я попытаюсь использовать функции leftJoin и branch Kafka Streams, я получу следующую ошибку при выполнении приложения jar: Exception in thread "StreamThread-1"...
5435 просмотров

Внешние контрольно-пропускные пункты к S3 на EMR
Я пытаюсь развернуть производственный кластер для своей программы Flink. Я использую стандартный кластер EMR с ядром hadoop с установленным Flink 1.3.2 и использую YARN для его запуска. Я пытаюсь настроить свой RocksDB для записи контрольных точек...
988 просмотров

Можем ли мы загрузить файлы sst из одной RocksDB в другую RocksDB?
Я нашел ingestExternalFile() в RocksDB API. Но когда я пытаюсь загрузить файлы sst из одной RocksDB в другую RocksDB, это дает мне исключение: Exception in thread "main" org.rocksdb.RocksDBException: External file version not found at...
546 просмотров
schedule 07.03.2023

События сообщений, связанные с Kafka KStream, в скользящем окне
У нас есть ситуация, в которой я думаю, что Kafka Streams может помочь, но я не могу найти никакой документации или примеров, показывающих, как это сделать. Я нашел один похожий вопрос, но в нем нет рекомендаций по реализации: Функция ожидания...
1877 просмотров

Поддерживает ли RocksDB Java ARM?
Я работаю над своим университетским проектом и использую последнюю версию RocksDB с Maven для хранения своих данных "ключ-значение": <dependency> <groupId>org.rocksdb</groupId> <artifactId>rocksdbjni</artifactId>...
699 просмотров
schedule 26.03.2023

KafkaAvroSerializer с несколькими URL-адресами реестра avro
у нас есть KafkaAvroSerde настроенный с несколькими URL-адресами avroregistry. В какой-то момент serde получил тайм-аут при попытке зарегистрировать схему на 1 URL-адресе, но поскольку он выдал исключение ввода-вывода до потокового приложения,...
531 просмотров

Правильно ли я заставляю RocksDB использовать fsync? Ни fsync(), ни msync() не отображаются в strace
Я использую RocksDB через C API. У меня есть тестовая программа, которая открывает базу данных, выполняет 1000 операций записи (собирает временные данные между инициацией записи и обратным вызовом), выполняет 1000 операций чтения и завершает...
279 просмотров
schedule 14.01.2024

Почему директория состояния потоков kafka находится в / tmp / kafka-streams?
Я не уверен, что уже ответил. Поскольку я не получил должного объяснения, разместил свой вопрос здесь. Почему потоки кафки state.dir хранятся в /tmp/kafka-streams ? Я знаю, что могу изменить путь, указав конфигурацию каталога состояния в...
4260 просмотров

Неизвестный параметр ArangoDB --rocksdb.encryption-keyfile
Я использую ArangoDB 3.4.4 в док-контейнере (взято из Docker Hub) и пытаюсь внедрить шифрование для механизма rockdb, как описано на этой странице: https://docs.arangodb.com/3.4/Руководство/Безопасность/Шифрование/ Я настроил свой файл...
121 просмотров
schedule 01.02.2023

Почему Get и MultiGet работают значительно медленнее для больших наборов ключей по сравнению с использованием Iterator?
В настоящее время я играю с RocksDB (C++), и мне было интересно узнать о некоторых показателях производительности, с которыми я столкнулся. В целях тестирования ключи моей базы данных — это пути к файлам, а значения — это имена файлов. В моей базе...
1447 просмотров
schedule 20.09.2022

Как вставить целочисленные значения в rockdb, например uint64_t?
Я протестировал следующий код для вставки целочисленных значений, таких как uint64_t, в базу данных rockdb, используя приведение типов. Это правильный подход? #include<stdio.h> #include<string.h> #include<stdlib.h>...
689 просмотров
schedule 29.04.2023

Как использовать RocksDB после установки? Как читать из RocksDB из KSQL?
Я установил RocksDB с помощью команды «sudo apt-get install librocksdb-dev». Как я могу использовать БД? Как я могу читать и записывать данные с помощью KSQL?
124 просмотров
schedule 08.11.2022

Как запустить сервис RocksDB в Ubuntu для тестирования производительности?
Я пытаюсь проверить производительность RocksDB. Я установил как DB-Bench для тестирования производительности, так и RocksDB. Я понятия не имею, как я могу запустить службу RocksDB в Ubuntu и запустить тест производительности с помощью db-bench....
176 просмотров

Как управлять файловой системой, в которую Kafka Streams помещает свои данные
У меня есть приложение Kafka Streams, оно отлично работает, но кажется, что rockdb помещает данные в /tmp. Как мне указать kafka (rocksdb), где разместить данные. /tmp не годится для производственного приложения
93 просмотров
schedule 11.09.2022

Каково влияние количества уровней в уровневом уплотнении?
Я знаю, как работает уровневое уплотнение в DBS, таких как Cassandra, rockdb и т. д. У некоторых максимальное количество уровней 4, а у некоторых 7. Как это число влияет на процесс уплотнения? Почему я не могу иметь только 2 уровня: 1-й, который...
432 просмотров
schedule 27.03.2023