Вопросы по теме 'ksqldb'
Форматирование ключей KSQL Kafka
В одной из моих тем в качестве ключа используется строка-json - {"city": "X", "id": 22}. В моем заявлении ksql я хочу извлечь его в 2 разных поля, а не в одно, чтобы позже можно было фильтровать и присоединяться. В документах это, кажется, позволяет...
626 просмотров
schedule
30.06.2023
Ksql: Left Join Отображает столбцы из потока, но не таблицы
У меня есть одна пара и таблица в KSQL, как указано ниже:
Название потока: DEAL_STREAM
Имя таблицы: EXPENSE_TABLE
Когда я запускаю следующие запросы, он отображает только столбцы из потока, но столбцы таблицы не отображаются.
Это ожидаемый...
372 просмотров
schedule
01.07.2022
Kafka ksql simple join не работает
Я переназначил данные в потоке и таблице, я использую Confluent 4.1
1) Создать поток
CREATE STREAM session_details_stream (Media varchar ,SessionIdTime varchar,SessionIdSeq long) with (kafka_topic = 'sessionDetails', value_format = 'json');...
1168 просмотров
schedule
22.09.2022
KSQL Steam-table Left join частично (и незаметно) не заполняет значения
Присоединяюсь к потоку со столом. Результат соединения успешен только частично. Некоторые значения заполнены точно, а другие равны нулю. Я проверил, существуют ли значения как в таблице, так и в потоке, и что столбец, используемый для соединения,...
234 просмотров
schedule
13.05.2024
Можно ли использовать множественное левое соединение в запросе Confluent KSQL? пытался присоединиться к потоку с более чем 1 таблицей, если нет, то какое решение?
Транслировать :
describe ammas;
Field | Type
-------------------------------------
ROWTIME | BIGINT (system)
ROWKEY | VARCHAR(STRING) (system)
ID | INTEGER...
1461 просмотров
schedule
24.05.2024
Присоединение схемы JSON к записям потока KSQL
Я использую KSQL, и пока он отлично работает. Но теперь я хотел бы передать вывод в BigQuery через Kafka Connect, и мне нужно прикрепить схему JSON. Мне сложно понять, как это сделать. Вот мой запрос:
CREATE STREAM tweets_original (...
597 просмотров
schedule
24.02.2023
Сервер Confluent KSQL в Windows - не удалось найти или загрузить основной класс
Я хотел бы подключиться к своему собственному экземпляру Kafka, чтобы попробовать KSQL. Я загрузил последнюю версию платформы Confluent Open Source - https://www.confluent.io/download/
Я следую...
1148 просмотров
schedule
18.04.2022
Тема вывода потока KSQL
Привет, у меня осталось левое соединение с потоком Ksql (SEARCHREQUESTDTO) с таблицей Ksql (NGINX_TABLE). со следующей командой ksql
CREATE STREAM NIGINX_SEARCH_QUERY AS \
SELECT *\
FROM SEARCHREQUESTDTO\
LEFT JOIN NGINX_TABLE\
ON...
2174 просмотров
schedule
26.02.2022
Как KSQL читает (использует msgs) данные из темы, уже содержащей некоторые сообщения
Я создал поток из Kafka, используя KSQL для темы Kafka, которая уже содержит некоторые сообщения. Но не получает сообщений из этой темы в созданный поток. Сообщения имеют формат Avro и генерируются через некоторый промежуток времени.
Я хочу...
1002 просмотров
schedule
21.12.2022
Есть ли способ добавить метку времени к выбору потока KSQL?
У меня есть обработка сообщений с использованием потоков ksql, и я хотел бы добавить метку времени к каждой обработанной строке, чтобы получить время завершения обработки.
Первоначально я предполагал, что ROWTIME в конечном итоге будет обновляться,...
725 просмотров
schedule
04.05.2022
ksql - можно ли создать поток из нескольких тем и получить полную полезную нагрузку события?
У нас есть требование слушать по нескольким темам и искать конкретное поле в каждом тематическом мероприятии. Каждое тематическое событие находится в формате json и гарантированно имеет несколько фиксированных полей в формате json. Необходимо...
1252 просмотров
schedule
25.02.2022
KSQL Присоединяйтесь к более чем двум потокам
Можно ли в KSQL объединить более двух потоков / таблиц?
Пример:
У меня три потока:
CREATE STREAM StreamA (id BIGINT, message VARCHAR) WITH
(KAFKA_TOPIC='TopicA', VALUE_FORMAT='DELIMITED');
CREATE STREAM StreamB (id BIGINT, aid BIGINT,...
1987 просмотров
schedule
22.01.2023
KSQL Streams and Tables не сохраняет данные
Я создаю одну тему kafka, и я создал поток KSQL по этой теме, и я создаю таблицу в потоке для агрегирования, после перезапуска KSQL Server и Kafka все потоки и таблицы KSQL исчезли! есть ли способ настроить KSQL Server так, чтобы потоки и таблицы...
379 просмотров
schedule
12.09.2022
KSQL: добавить несколько дочерних записей к родительской записи
Я пытаюсь использовать KSQL (как часть confluent-5.0.0) для создания одной записи из набора родительских записей и дочерних записей, где каждая родительская запись имеет несколько дочерних записей (в частности, платежные реквизиты и участвующие...
201 просмотров
schedule
01.06.2022
Данные в таблице ksql не являются постоянными
Мы используем конфлюентную платформу на ubuntu. У нас есть простые данные JSON, отправляемые через запрос cURL на сервер kafka-rest в теме kafka с именем «UE_Context».
Поток kafka с именем "UE_CONTEXT_STREAM" создается для этой темы с помощью...
1044 просмотров
schedule
03.08.2022
KSQL - Присоединение к потокам с неравными разделами
Как объединить неравное количество потоков, содержащих разделы в KSQL, помимо увеличения раздела?
Пример Поток-1 имеет 3 раздела, а поток-2 - 2 раздела. В этом случае, конечно, мы можем увеличить количество разделов для Stream-1 при объединении 3....
535 просмотров
schedule
11.06.2022
Как получить потоковый ответ от KSQL в Spring Kafka?
Как получить ответ по частям от сервера kafka KSQL в приложении загрузки java spring?
Когда я делаю вызов конечной точки /query , я просто получаю 1 строку, и соединение закрывается. Как я могу сохранить соединение и получать несколько строк?...
799 просмотров
schedule
12.07.2022
Создайте таблицу KSQL с помощью ROWKEY так же, как ключ сообщения темы Kafka
Я создаю KTable из темы с форматом значений JSON, производители темы также включают ключ для каждого сообщения на уровне Kafka, а само сообщение JSON содержит свойство JSON с именем key , которое я использую как ROWKEY в следующем утверждении:...
570 просмотров
schedule
19.09.2022
Могу ли я изменить таблицу KSQL из формата AVRO в формат JSON?
Я пытаюсь получить таблицу формата JSON для своего скрипта Python для доступа к ней и не хочу менять исходный формат темы, поскольку в настоящее время он находится в формате AVRO.
Итак, мой вопрос: можно ли перейти с формата AVRO на формат JSON?...
399 просмотров
schedule
30.10.2022
io.confluent.ksql.exception.KafkaTopicExistsException: при запуске ksql-server-start ksql-server.properties
Я работаю с ksql довольно давно. Кластер Kafka если из 3 узлов. Я тоже использовал udf, и все выглядит хорошо, пока я не остановлю серверы и не запустил их снова. При запуске сервера я вижу в журналах следующее:
[2019-04-03 11:29:54,381] ERROR...
526 просмотров
schedule
11.06.2023
