Celery Daemon не работает на Centos 7

celeryd устарел. Если вы можете работать в режиме без демона, скажите

celery worker -l info -A my_app -n my_worker

Вы можете просто демонизировать его, используя celery multi.

celery multi my_worker -A my_app -l info

При этом, если вы все еще хотите использовать celeryd выполните следующие действия.

Как уже отвечал @ChillarAnand, не используйте celeryd.

Но на самом деле не так просто, как он написал, запустить celery с celery multi с systemd.

Вот мои рабочие, неочевидные (как мне кажется) примеры.

Они были протестированы на Centos 7.1.1503 с celery 3.1.23 (Cipater), работающим в virtualenv, с примером приложения tasks.py из учебное пособие по сельдерею.

Запуск одного рабочего

[Unit]
Description=Celery Service
After=network.target

[Service]
Type=forking
User=vagrant
Group=vagrant

# directory with tasks.py
WorkingDirectory=/home/vagrant/celery_example

# !!! using the below systemd is REQUIRED in this case!
# (you will still get a warning "PID file /var/run/celery/single.pid not readable (yet?) after start." from systemd but service will in fact be starting, stopping and restarting properly. I haven't found a way to get rid of this warning.)
PIDFile=/var/run/celery/single.pid

# !!! using --pidfile option here and below is REQUIRED in this case!
# !!! also: don't use "%n" in pidfile or logfile paths - you will get these files named after the systemd service instead of after the worker (?)
ExecStart=/home/vagrant/celery_example/venv/bin/celery multi start single-worker -A tasks --pidfile=/var/run/celery/single.pid --logfile=/var/log/celery/single.log "-c 4 -Q celery -l INFO"

ExecStop=/home/vagrant/celery_example/venv/bin/celery multi stopwait single-worker --pidfile=/var/run/celery/single.pid --logfile=/var/log/celery/single.log

ExecReload=/home/vagrant/celery_example/venv/bin/celery multi restart single-worker --pidfile=/var/run/celery/single.pid --logfile=/var/log/celery/single.log

# Creates /var/run/celery, if it doesn't exist
RuntimeDirectory=celery

[Install]
WantedBy=multi-user.target

Запуск нескольких рабочих

[Unit]
Description=Celery Service
After=network.target

[Service]
Type=forking
User=vagrant
Group=vagrant

# directory with tasks.py
WorkingDirectory=/home/vagrant/celery_example

# !!! in this case DON'T set PIDFile or use --pidfile or --logfile below or it won't work!
ExecStart=/home/vagrant/celery_example/venv/bin/celery multi start 3 -A tasks "-c 4 -Q celery -l INFO"

ExecStop=/home/vagrant/celery_example/venv/bin/celery multi stopwait 3

ExecReload=/home/vagrant/celery_example/venv/bin/celery multi restart 3

# Creates /var/run/celery, if it doesn't exist
RuntimeDirectory=celery

[Install]
WantedBy=multi-user.target

(Обратите внимание, что я запускаю воркеры с -c / --concurrency > 1, но он также работает, если для него установлено значение 1 или значение по умолчанию. Также это должно работать, если вы не будете использовать virtualenv, но я настоятельно рекомендую вам его использовать.)

Я действительно не понимаю, почему systemd не может угадать PID разветвленного процесса в первом случае и почему размещение pid-файлов в определенном месте нарушает второй случай, поэтому я подал заявку здесь: https://github.com/celery/celery/issues/3459 . Если я получу ответы или придумаю какие-то пояснения самостоятельно, то выложу их здесь.