Как исправить прочтение в Elicsearch

Я использовал Elasticsearch-1.1.0 для индексации твитов. Процесс индексации в порядке. Затем я обновил версию. Теперь я использую Elasticsearch-1.3.2, и я получаю это сообщение случайным образом:

Exception happened: Error raised when there was an exception while talking to ES.
ConnectionError(HTTPConnectionPool(host='127.0.0.1', port=8001): Read timed out. (read timeout=10)) caused by: ReadTimeoutError(HTTPConnectionPool(host='127.0.0.1', port=8001): Read timed out. (read timeout=10)).

Снимок случайности:

Happened --33s-- Happened --27s-- Happened --22s-- Happened --10s-- Happened --39s-- Happened --25s-- Happened --36s-- Happened --38s-- Happened --19s-- Happened --09s-- Happened --33s-- Happened --16s-- Happened 

--XXs-- = after XX seconds

Может ли кто-нибудь указать, как исправить проблему Read timed out?

Большое спасибо.

ОТВЕТЫ

Ответ 1

Сложно дать прямой ответ, так как ошибка вашего видения может быть связана с клиентом, который вы используете. Однако решение может быть одним из следующих:

1.Включить тайм-аут по умолчанию глобально при создании ES-клиента путем передачи параметра таймаута. Пример в Python

es = Elasticsearch(timeout=30)

2. Установите тайм-аут на запрос, сделанный клиентом. Взято из документов Elasticearch Python ниже.

# only wait for 1 second, regardless of the client default
es.cluster.health(wait_for_status='yellow', request_timeout=1)

Вышеупомянутое даст кластеру дополнительное время для ответа

Ответ 2

Попробуйте следующее:

es = Elasticsearch(timeout=30, max_retries=10, retry_on_timeout=True)

Это может не полностью избежать ReadTimeoutError, но это минимизирует их.

Ответ 3

Для чего это стоит, я обнаружил, что это, похоже, связано со сломанным состоянием индекса.

Очень сложно надежно воссоздать эту проблему, но я видел ее несколько раз; операции выполняются как обычно, за исключением определенных, которые периодически кажутся зависающими ES (в частности, обновление индекса кажется).

Удаление индекса (curl -XDELETE http://localhost:9200/foo) и переиндексация с нуля исправили это для меня.

Я рекомендую периодически очищать и переиндексировать, если вы видите это поведение.

Ответ 4

Тайм-аут чтения может также произойти, если размер запроса велик. Например, в моем случае довольно большого размера индекса ES (> 3M документов) выполнение поиска по запросу из 30 слов занимало около 2 секунд, в то время как поиск по запросу из 400 слов занимал более 18 секунд. Так что для достаточно большого запроса даже timeout=30 не спасет вас. Простое решение - обрезать запрос до размера, на который можно ответить ниже тайм-аута.

Ответ 5

Увеличение различных параметров тайм-аута может немедленно решить проблемы, но не устраняет основную причину.

Если служба ElasticSearch доступна и индексы исправны, попробуйте увеличить минимальный и максимальный размеры кучи Java: см. Https://www.elastic.co/guide/en/elasticsearch/reference/current/jvm-options.html.

TL; DR Edit/etc/elasticsearch/jvm.options -Xms1g и -Xmx1g

Ответ 6

Вы также должны проверить, все ли хорошо с резинкой. Некоторый осколок может быть недоступен, вот хороший документ о возможных причинах недоступного осколка https://www.datadoghq.com/blog/elasticsearch-unassigned-shards/