У меня есть 100 задач. Но я хочу обрабатывать только 4 задачи одновременно. Как только эти 4 задачи будут выполнены, я хочу запустить следующий набор из 4 задач. Это можно сделать, сгруппировав задачи в наборы по 4, а затем объединив их в цепочки. Но между некоторыми задачами может произойти сбой, как я могу обработать эти ошибки и предпринять соответствующие действия, чтобы я повторил попытку только для тех задач, которые не удалось выполнить. Насколько мне известно, в цепочке, если одна задача завершается сбоем, последующие задачи в цепочке не будут выполняться. Поэтому, если я реализую цепочку групп, если какие-либо задачи в группе завершатся сбоем, вся цепочка завершится ошибкой. Предложите мне правильный метод обработки ошибок для этого, также будет оценена любая лучшая идея для реализации этого.
Я отключил бэкэнд результатов.
Небольшая предыстория: у меня есть cron, работающий каждые 30 секунд, реализованный с использованием celery-beat, который одновременно получает 100 новых задач. Таким образом, все эти цепочки и группировки должны выполняться внутри функции cron.
Я использую сельдерей 3.1.25
