Scrapy Splash на сервере Ubuntu: неожиданный аргумент ключевого слова 'кодировка'

Scrapy Splash, который я использую, отлично работает на моем локальном компьютере, но он возвращает эту ошибку, когда я использую его на своем сервере Ubuntu. Это почему? Это вызвано нехваткой памяти?

  File "/usr/local/lib64/python2.7/site-packages/twisted/internet/defer.py", line 1299, in _inlineCallbacks
    result = g.send(result)
  File "/usr/local/lib/python2.7/site-packages/scrapy/core/downloader/middleware.py", line 53, in process_response
    spider=spider)
  File "/usr/local/lib/python2.7/site-packages/scrapy_splash/middleware.py", line 387, in process_response
    response = self._change_response_class(request, response)
  File "/usr/local/lib/python2.7/site-packages/scrapy_splash/middleware.py", line 402, in _change_response_class
    response = response.replace(cls=respcls, request=request)
  File "/usr/local/lib/python2.7/site-packages/scrapy/http/response/text.py", line 50, in replace
    return Response.replace(self, *args, **kwargs)
  File "/usr/local/lib/python2.7/site-packages/scrapy/http/response/__init__.py", line 79, in replace
    return cls(*args, **kwargs)
  File "/usr/local/lib/python2.7/site-packages/scrapy_splash/response.py", line 33, in __init__
    super(_SplashResponseMixin, self).__init__(url, *args, **kwargs)
TypeError: __init__() got an unexpected keyword argument 'encoding'

ОБНОВИТЬ

Это происходит только при использовании localhost как SPLASH_URL


person Aminah Nuraini    schedule 12.03.2017    source источник


Ответы (2)


TypeError: init () получил неожиданный аргумент ключевого слова "кодировка"

Кажется, что вы передаете где-то в класс init (возможно, создающий экземпляр) дополнительный параметр «кодировка». Попробуй разобраться в этом.

person pcinkh    schedule 26.03.2017

Я решаю это, используя вместо этого точный URL:

SPLASH_URL = 'http://therealip:8050'

Никакое решение localhost не работает. Думаю, это ошибка в Scrapy Splash.

ОБНОВЛЕНИЕ

Оказывается, ошибка тоже пропала, если выключить Crawlera. Но затем воспроизводится другая ошибка. Лучше не использовать localhost в конфигурации.

person Aminah Nuraini    schedule 12.03.2017