Elasticsearch性能优化

Используйте routing для указания местоположения шарда для данных

Функция маршрутизации Elasticsearch (Routing)

Причины снижения производительности

1. Ваши клиенты просто отправляют слишком много запросов слишком быстро в быстром всплеске, перегружая очередь. Вы можете отслеживать это с помощью Node Stats с течением времени, чтобы увидеть, является ли это всплеском или плавным
2. У вас есть очень медленные запросы, которые “застревают” на долгое время, потребляя потоки и вызывая резервное копирование очереди. Вы можете включить медленный журнал, чтобы увидеть, есть ли запросы, которые занимают исключительно долгое время, а затем попытаться настроить их
3. Могут быть потенциально “бесконечные” скрипты, написанные на Groovy или что-то подобное. Например, цикл, который никогда не выходит, заставляя поток вращаться вечно.
4. Ваше оборудование может быть недостаточно подготовлено для вашей рабочей нагрузки и создавать узкое место на каком-то ресурсе (диск, процессор и т.д.)
5. Временная проблема с вашей целью iSCSI, которая заставляет все операции в полете блокироваться, ожидая возврата дисков. Не потребуется большой задержки, чтобы серьезно резервировать занятый кластер… ES обычно ожидает, что диски всегда доступны.
6. Тяжелые сборки мусора также могут вызвать проблемы. Проверьте Node Stats, чтобы увидеть, запущено ли много/долгих old gen GC

Этот английский текст в основном говорит: ваша машина слишком низкая, вы запрашиваете слишком много. Опыт MySQL также применим к ES.

Выбор узлов

Если вы просто играете, не создавайте так много узлов. Elasticsearch — убийца памяти.

Если ресурсы ограничены, coordinating, data и ingest можно объединить.

coordinating

Координирующие узлы — это точка входа для запросов

1
2
3
node.master:false
node.data:false
node.ingest:false

master

Выбор мастера, определение местоположения шардов

1
2
3
node.master:true
node.data:false
node.ingest:false

data

Узлы, которые хранят шарды

1
2
3
node.master:false
node.data:true
node.ingest:false

ingest

Узлы ingest отвечают за обработку конвейеров

1
2
3
node.master:false
node.data:false
node.ingest:true

Оптимизация системной конфигурации

thread_pool:
    bulk:
        queue_size: 2000
    search:
        queue_size: 2000
indices:
  query:
    bool:
      max_clause_count: 50000
  recovery:
    max_bytes_per_sec:

queue_size — это ограничение для одновременных запросов, по умолчанию 1000. В разных версиях названия могут немного отличаться. Параметры пула потоков можно напрямую прикрепить к параметрам запуска (в конце концов, монтирование файлов конфигурации также является проблемой для меня).

Ссылки:

1. Настройка кластеров
2. Обновление конфигурации кластера
3. Конфигурация пула потоков

Оптимизация конфигурации индекса

shard

Рекомендуется, чтобы размер одного шарда не превышал 30 ГБ на небольших узлах. На узлах более высоких характеристик размер одного шарда не должен превышать 50 ГБ.

Для сценариев анализа логов или очень больших индексов рекомендуется, чтобы размер одного шарда не превышал 100 ГБ.

Количество шардов (включая реплики) должно максимально соответствовать количеству узлов, равняться количеству узлов или быть целым кратным количеству узлов.

Обычно мы рекомендуем, чтобы количество шардов для одного индекса на одном узле не превышало 5.

Оптимизация запросов

Для параметра _all, если он не нужен в бизнес-использовании, наша обычная рекомендация — отключить его или добавить выборочно.

Выбирать только необходимые поля

Как и в реляционных базах данных, не используйте select *.

1
2
3
4
5
6
GET /product/goods/109524071?filter_path=_source.zdid
{
  "_source" : {
    "zdid" : 48
  }
}

Подобное использование включает _source, но в отличие от filter_path, возвращаемые результаты будут включать поля по умолчанию самого документа.

1
2
3
4
5
6
7
8
9
10
11
GET /product/goods/109524071?_source_include=zdid
{
  "_index" : "product",
  "_type" : "goods",
  "_id" : "109524071",
  "_version" : 4,
  "found" : true,
  "_source" : {
    "zdid" : 48
  }
}

1
2
3
_source=false
_source_include=zdid
_source_exclude

Примечание: _source и filter_path нельзя использовать вместе

Отключить автоматическое сопоставление при создании новых индексов

псевдонимы индекса

Другой опыт

Согласно практическому опыту, elasticsearch в основном используется для меньшего количества индексов и большего количества поисков, поэтому оптимизация для поиска более подходящая.

Лучшие практики для логов

Если потеря логов не имеет значения, рекомендуется использовать 1 узел с 0 реплика-шардами для хранения логов.

Используйте xx-<date> для логовых индексов, чтобы при удалении можно было напрямую удалить индекс.

Я чувствую, что умираю каждый раз, когда использую delete by query…

1
2
3
4
5
6
7
8
9
10
11
12
13
POST /tracing/_delete_by_query?conflicts=proceed
{
	"query": {
		"range": {
			"@timestamp": {
				"lt": "now-90d",
				"format": "epoch_millis"
			}
		}
	}
}

GET /_tasks?&actions=*delete*

Устранение неполадок и обслуживание

Не назначенные шарды

Решение: Создайте новый индекс с number_of_replicas, установленным на 0, затем используйте _reindex. После завершения миграции измените number_of_replicas обратно. reindex имеет параметр size, настройка его по мере необходимости может быть быстрее.

Примечание Вы можете просмотреть связанные задачи через GET _tasks?actions=indices:data/write/reindex?detailed

Ссылки

1. Производительность Elasticsearch Reindex улучшена в 10 раз
2. Решение проблемы неспособности reroute не назначенных шардов кластера elasticsearch
3. tasks API

reindex

reindex также имеет техники.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# Отключить реплики
put geonames/_settings
{
 
    "settings" : {
      "index" : {
        "number_of_replicas" : "0"
    }
  
}
}
# Во время отключения обновления результаты _count не обновляются
json='{"index":{"refresh_interval":"-1"}}'
curl -XPUT 0.0.0.0:9200/geonames/_settings -H 'Content-Type: application/json' -d $json

# Вы также можете отменить на полпути
curl -XPOST 0.0.0.0:9200/_tasks/mHCg6HqYTqqd12nIDFDk1w:2977/_cancel

# Восстановить механизм обновления
json='{"index":{"refresh_interval":null}}'
curl -XPUT 0.0.0.0:9200/geonames/_settings -H 'Content-Type: application/json' -d $json

gc overhead

1
[2019-01-04T08:41:09,538][INFO ][o.e.m.j.JvmGcMonitorService] [elasticsearch-onekey-3] [gc][159] overhead, spent [276ms] collecting in the last [1s]

Решение/Корень проблемы: Кластер перегружен, упал

• Индекс желтый в течение длительного времени

Решение/Корень проблемы: Сначала установите number_of_replicas на 0, затем верните обратно, вручную запустите синхронизацию.

1
2
3
4
5
6
7
8
9
10
put geonames/_settings
{
 
    "settings" : {
      "index" : {
        "number_of_replicas" : "0"
    }
  
}
}

• Катящийся перезапуск

_rolling_restarts

• Анализ медленного журнала

Медленные журналы делятся на типы поиска и индекса, и могут быть установлены на уровне индекса или кластера

1
2
3
4
5
6
7
8
9
10
11
12
PUT _settings
{
        "index.indexing.slowlog.threshold.index.debug" : "10ms",
        "index.indexing.slowlog.threshold.index.info" : "50ms",
        "index.indexing.slowlog.threshold.index.warn" : "100ms",
        "index.search.slowlog.threshold.fetch.debug" : "100ms",
        "index.search.slowlog.threshold.fetch.info" : "200ms",
        "index.search.slowlog.threshold.fetch.warn" : "500ms",
        "index.search.slowlog.threshold.query.debug" : "100ms",
        "index.search.slowlog.threshold.query.info" : "200ms",
        "index.search.slowlog.threshold.query.warn" : "1s"
}

Ссылки:

1. Сбор медленных запросов ES
2. Использование reroute для ручной передачи шардов

No alive nodes found in your cluster

Это требует конкретного анализа, проверьте логи ES. Это может быть проблема, вызванная ограничением в 1000 одновременных соединений.

Справочные инструменты

elasticHQ

Ссылки:

1. Как построить корпоративные поисковые решения с Elasticsearch?
2. Практика многоуровневой архитектуры Elasticsearch в Didi
3. От платформы к средней платформе: практический опыт Elasticsearch в Ant Financial
4. Почему запросы Elasticsearch стали такими медленными?
5. Оптимизация Elasticsearch через реальные случаи в Douban