Как исправить: http.client.HTTPException: получено более 100 заголовков при использовании массива из API эластичного поиска python.

Я использую elasticsearch-oss:6.8.3 с python 3.7.

Я использую массовую функцию для обновления значения в моем ES, например:

for hit in hits:
        # hit = {
        #   '_index': 'my-index',
        #   '_score': '1.0',
        #   '_type': '_doc',
        #   '_id': 'YNi6920BHiHVzMIEjF0_', 
        #   '_source': {}
        # }
        del hit["_score"]

        hit["_source"].update({something_to_update})
        hit["_op_type"] = "update"

        # Need to deepcopy otherwise as we are in a generator, this will create an id loop in pyhton and raise an ES error
        _source = {"doc": deepcopy(hit["_source"])}

        # yield result
        yield hit

На данный момент он проходит через ошибку: http.client.HTTPException: получено более 100 заголовков при использовании массива из API эластичного поиска python.

Я думаю, что это связано с размером ограничения python для заголовков http. Итак, я хотел бы передать все идентификаторы в форме каждого обращения в теле запроса, но я не знаю, как это сделать...


python-3.x bulkupdate elasticsearch
person Louis Hulot    schedule 23.10.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

На данный момент у меня есть грязное исправление, которое:

import http.client

http.client._MAXHEADERS = 1000
person Louis Hulot    schedule 24.10.2019