ошибка при развертывании проекта с помощью scrapyd

У меня было несколько пауков в папке моего проекта, и я хотел запустить всех пауков одновременно, поэтому я решил запустить их с помощью службы scrapyd. Я начал делать это, увидев здесь

Прежде всего, я в текущей папке проекта

  1. Я открыл файл scrapy.cfg и раскомментировал строку URL после

    [развертывать]

  2. Я выполнил команду scrapy server, которая отлично работает, и сервер scrapyd работает.

  3. Я попробовал эту команду scrapy deploy -l

    Результат: default http://localhost:6800/

  4. когда я попробовал эту команду scrapy deploy -L scrapyd, я получил следующий вывод

Результат:

Usage
=====
  scrapy deploy [options] [ [target] | -l | -L <target> ]

deploy: error: Unknown target: scrapyd

когда я попытался развернуть проект с помощью этой команды, scrapy deploy scrapyd -p default получил следующую ошибку

Usage
=====
  scrapy deploy [options] [ [target] | -l | -L <target> ]

deploy: error: Unknown target: scrapyd

Я действительно не могу определить, почему scrapyd показывает вышеуказанные ошибки, может привести меня к правильному способу развертывания проекта в scrapyd.

Заранее спасибо..........

Отредактированный код:

Увидев ответ Питера Кирби, я назвал цель в scrapy.cfg и попробовал следующую команду в папке моего проекта:

команда:

scrapy deploy ebsite -p ebsite

то я получил следующую ошибку

Building egg of ebsite-1341808241
'build/lib' does not exist -- can't clean it
'build/bdist.linux-x86_64' does not exist -- can't clean it
'build/scripts-2.7' does not exist -- can't clean it
zip_safe flag not set; analyzing archive contents...
Deploying ebsite-1341808241 to http://localhost:6800/addversion.json
Deploy failed: <urlopen error [Errno 111] Connection refused>

Как это решить.....


python scrapy scrapyd
person Shiva Krishna Bavandla    schedule 06.07.2012    source источник

Ответы (4)


arrow_upward
10
arrow_downward

Из документации службы scrapyd: (http://scrapy.readthedocs.org/en/latest/topics/scrapyd.html?highlight=scrapyd)

Вы можете определить цели, добавив их в файл scrapy.cfg вашего проекта... Вот пример определения новой цели scrapyd2 с ограниченным доступом через базовую аутентификацию HTTP:

[deploy:scrapyd2]
url = http://scrapyd.mydomain.com/api/scrapyd/
username = john
password = secret

По сути, ваша ошибка означает, что ваше «целевое» имя неверно. Если я правильно помню, файл scrapy.cfg устанавливает начальное целевое имя как «по умолчанию». То, что вы должны печатать, выглядит примерно так:

scrapy deploy default -p project_name
person Peter Kirby    schedule 08.07.2012
comment
Спасибо за ваш ответ, как вы сказали, я отредактировал свой код, как указано выше, и я получил упомянутую выше ошибку, можете ли вы сказать мне, как ее решить? - person Shiva Krishna Bavandla; 09.07.2012
comment
Попробуйте получить доступ к веб-интерфейсу Scrapyd. Перейдите на localhost:6800 или введите curl localhost:6800/listprojects.json и расскажите, что произойдет. Возможно, Scrapyd установлен неправильно. Вы на какой ОС? - person Peter Kirby; 10.07.2012

arrow_upward
1
arrow_downward

Просто введите scrapy deploy, если у вас нет именованных целей и вы оставили настройки по умолчанию!

person Sjaak Trekhaak    schedule 06.07.2012

arrow_upward
0
arrow_downward

Это процедура scrapyd, у которой нет разрешения! Вам нужно убить процесс, затем использовать пользователя root, просто введите:

scrapy server

затем запустится новый scrapyd. Затем вы можете сделать, как сказано в документации scrapyd .

person gnemoug    schedule 16.04.2013

arrow_upward
0
arrow_downward

Я получил эту ошибку, когда пытаюсь развернуть свой проект без запуска scrapyd, поэтому просто запустите

scrapyd

на другом терминале исправил ошибку

person shellbye    schedule 29.04.2016