Паук остановился в середине сканирования (после 7 часов работы, 20 тысяч запросов). Статус задания - "неудачно". Даже если в журнале нет сообщений об ОШИБКЕ. Журнал выглядит так, как будто код просто перестал работать в определенном диапазоне строк кода без каких-либо сообщений об ошибках. Это произошло при переопределении метода spider_idle. Журналы включены, и я вижу все предыдущие сообщения INFO, указывающие на нормальный запуск паука. Я не знаю, как включить сообщения DEBUG в журнале scrapinghub.
Проверил расход памяти - стабильно, по крайней мере в коротких тестах, теперь жду результатов длинных прогонов.
Как я могу получить больше информации после того, как задание «не удалось»?
