Kafka — это мощная и все более популярная технология, позволяющая обрабатывать большие объемы данных в режиме реального времени. Первоначально он был разработан LinkedIn и теперь поддерживается Apache Software Foundation. Kafka предоставляет распределенную, отказоустойчивую и масштабируемую платформу для управления и обработки потоков данных. Он стал отраслевым стандартом архитектуры, управляемой событиями. В этой статье мы рассмотрим наиболее важные концепции Кафки. Маклер Брокер..

Непрерывный мониторинг энергопотребления в домашних условиях с помощью обученной модели для предупреждения о неожиданном потреблении энергии в определенное время суток. Позвольте моему Google Home и телефону уведомлять меня, когда я использую больше электроэнергии, чем ожидалось. Что это, черт возьми? Энергопотребление в домашних условиях колеблется в течение дня. Однако образец использования электроэнергии следует типичной кривой и становится предсказуемым после достаточного..

Не волнуйтесь, это не очередной пост о единовременной обработке. Хочу описать интересное требование, которое возникло в одном из наших проектов. Вот ситуация Источник события отправляет сообщения в тему Kafka. Сообщение содержит единственную строку, являющуюся идентификатором сообщения. В нашем приложении это объект с несколькими полями, одно из которых - id . Он сериализуется с помощью Avro, и мы используем Serdes для Avro, но давайте будем простыми. Все, что мы хотим добиться,..

TL; DR | Как следует из названия, это вторая статья из серии "Потоки Kafka". В предыдущей статье я коснулся архитектуры хранилища Apache Kafka. Все это было об основах Apache Kafka, связанных ключевых словах и многом другом. Если вы все еще не читали или не нуждаетесь в нем, вам следует проверить, есть ли . В этой статье я найду ответы о том, почему Kafka должен работать как распределенный и как он это делает. Хранитель зоопарка, контроллер Kafka и многое другое! До сих пор вы..