У меня есть своего рода установка производитель-потребитель, в которой производители (несколько производителей в разных потоках) помещают данные в очередь Redis, а потребитель (один потребитель в одном потоке) отслеживает эту очередь. Когда длина очереди достигает, скажем, >= 10000 элементов, потребитель должен извлечь первые 10000 элементов из очереди, удалить их из очереди и выполнить над ней какие-то вычисления.
Используя клиент redis-py, я использую следующий код для извлечения первых 10000 элементов и их удаления:
logs = REDIS_CLIENT.lrange(task_queue, 0, 9999)
REDIS_CLIENT.ltrim(task_queue, start=10000, end=REDIS_CLIENT.llen(task_queue))
(Документация для lrange и ltrim)
Мой вопрос: есть ли здесь возможность потери данных? Например, возможно ли, чтобы задачи ставились в очередь в период между вызовом функции ltrim() и фактическим обрезанием очереди (в этом случае самые новые журналы будут потеряны, поскольку значение end будет более старой длиной)? Или блокировка помещается в очередь до завершения операции ltrim?
