Проектирование системы аналитической обработки в реальном времени

Я немного работал с Redis. Итак, я прокомментирую вашу мысль об использовании Redis

№ 3 имеет 3 требования

1. Буфер на пользователя

2. Буфер на 10 задач

3. Должен истекать каждые 5 минут

<сильный>1. Буфер на пользователя: Redis — это просто хранилище ключевых значений. Хотя он поддерживает широкий спектр типов данных, они всегда являются значениями, сопоставленными с ключом STRING. Итак, вы должны решить, как однозначно идентифицировать пользователя, если вам нужен буфер для каждого пользователя. Потому что в Redis вы никогда не получите ошибку при переопределении нового значения ключа. Одним из решений может быть проверка существования перед записью.

<сильный>2. Буфер на 10 задач: очевидно, что вы можете реализовать очередь в Redis. Но ограничение его размера остается за вами. Пример: использование LPUSH и LTRIM или использование LLEN для проверки длины и принятия решения о запуске вашего процесса. Ключ, связанный с этой очередью, должен быть тем, который вы выбрали в части 1.

<сильный>3. Срок действия буфера истекает через 5 минут: это самая сложная задача. В Redis каждый ключ, независимо от базового типа данных, который он имеет, может иметь expiry. Но процесс истечения молчит. Вы не будете получать уведомления об истечении срока действия любого ключа. Таким образом, вы незаметно потеряете свой буфер, если воспользуетесь этим свойством. Одним из способов решения этой проблемы является наличие index. Это означает, что индекс сопоставит метку времени с ключами, срок действия которых должен истечь при этом значении метки времени. Затем в фоновом режиме вы можете каждую минуту читать индекс и вручную удалять ключ [после чтения] из Redis и вызывать нужный процесс с данными буфера. Чтобы иметь такой индекс, вы можете посмотреть отсортированные наборы. Где временная метка будет вашей score, а набор member будет ключами [уникальный ключ для каждого пользователя, определенный в части 1, который сопоставляется с очередью], который вы хотите удалить с этой временной меткой. Вы можете сделать zrangebyscore, чтобы прочитать все элементы набора с указанной отметкой времени

В целом:

Используйте Redis List для реализации очереди.

Используйте LLEN, чтобы убедиться, что вы не превышаете лимит в 10.

Всякий раз, когда вы создаете новый список, делайте запись в индексе [Sorted Set] с Score как Current Timestamp + 5 min и Value в качестве ключа списка.

Когда LLEN достигнет 10, не забудьте прочитать, а затем удалить ключ из индекса [отсортированный набор] и из базы данных [удалить ключ-> список]. Затем запустите процесс с данными.

Каждую минуту создавайте текущую временную метку, читайте индекс и для каждого ключа считывайте данные, затем удаляйте ключ из базы данных и запускайте свой процесс.

Это может быть мой способ реализовать это. Может быть какой-то другой лучший способ смоделировать ваши данные в Redis

Для ваших требований 1 и 2: [Apache Flume или Kafka]

Для вашего требования № 3: [Эспер Болт внутри Шторма. В Redis для этого вам придется переписать логику Эспера.]