Оптимизация Zabbix: очереди, кэши, БД и откат изменений

0
10769
Обложка статьи: Оптимизация Zabbix: очереди, кэши, БД и откат изменений

Zabbix тормозит из‑за очереди сбора, кэша или диска БД, а не потому что «мало StartPollers». Сначала снимите исходные цифры, найдите класс узкого места, смените один параметр и сравните измерения при сопоставимой нагрузке. Чужой zabbix_server.conf не копируйте: умолчания и пределы зависят от мажорной версии.

Текст сверялся с главами Zabbix 6.0 LTS и 7.0 LTS. Ветка current на сайте документации может быть новее (на момент проверки — линия 7.x). Параметры вроде StartAgentPollers есть с 7.0; ключ zabbix[preprocessing] — с 7.0.12; проверка конфига zabbix_server -T — с 6.0. Цифры очереди и busy ниже помечены как иллюстративные, это не прогон с этой машины.

1. Архитектура Zabbix и основные факторы производительности

Цепочка такая: источник данных (агент, SNMP, simple check) → процесс сбора на Server или Proxy → preprocessing → history/value cache → history syncer пишет в БД → frontend читает историю и тренды. Узкое место бывает на любом звене. Добавление poller-процессов ускоряет только сбор и только если именно они заняты, а БД успевает принимать значения.

Разделяйте симптом и причину. Высокий CPU сервера — симптом. Причины разные: слишком частые items, мало воркеров нужного класса, preprocessing на JavaScript, медленные SQL, housekeeper днём. Очередь в GUI — тоже симптом: по Queue это логический список просроченных опросов, не отдельная IPC-очередь.

Что обычно упирается:

  • сбор — poller / pinger / trapper / agent poller заняты, очередь растёт;
  • preprocessing — растёт zabbix[preprocessing_queue], мало StartPreprocessors;
  • запись — history cache полон, в логе slow query, history syncer 100% busy;
  • прокси — растёт delay, значения копятся на прокси;
  • шаблоны — один item раз в 5 секунд на тысячи узлов даёт больше NVPS, чем «мало процессов».

Ориентиры железа в Requirements — примеры размеров инсталляций, не гарантия для вашей нагрузки. Сверяйте свою версию: 6.0 и 7.0 расходятся по асинхронным poller и части внутренних ключей.

2. Исходные метрики и оценка текущего состояния

До правки конфига зафиксируйте версию, конфиг и цифры за одно и то же рабочее окно.

zabbix_server -V
grep -E '^(StartPollers|StartPingers|StartDBSyncers|StartPreprocessors|StartAgentPollers|CacheSize|HistoryCacheSize|HistoryIndexCacheSize|ValueCacheSize|TrendCacheSize|HousekeepingFrequency|MaxHousekeeperDelete)' /etc/zabbix/zabbix_server.conf
sudo systemctl status zabbix-server --no-pager
sudo cp /etc/zabbix/zabbix_server.conf /etc/zabbix/zabbix_server.conf.bak.$(date +%F)

Пустая строка grep значит умолчание пакета, не «параметра нет». Умолчание StartPollers в конфиге 6.0/7.0 — 5; CacheSize — 32M. Это заводские значения, не оптимум.

С узла «Zabbix server» (шаблон здоровья в поставке) снимите Latest data:

zabbix[queue]
zabbix[requiredperformance]
zabbix[process,poller,avg,busy]
zabbix[process,"unreachable poller",avg,busy]
zabbix[process,trapper,avg,busy]
zabbix[process,"history syncer",avg,busy]
zabbix[process,"icmp pinger",avg,busy]
zabbix[wcache,history,pused]
zabbix[wcache,values,pused]
zabbix[rcache,buffer,pused]
zabbix[vcache,buffer,pused]
zabbix[preprocessing_queue]

Ключи — из Internal checks 7.0. zabbix[process,…] считает только последнюю минуту. Имена с пробелом заключайте в кавычки, как в официальных примерах. zabbix[queue] без параметров — число items с задержкой от 6 секунд до бесконечности.

sudo tail -n 80 /var/log/zabbix/zabbix_server.log
grep -E 'slow query|cache is full|fully used' /var/log/zabbix/zabbix_server.log

Иллюстративный пример исходной таблицы (не замер этой статьи):

Метрика Иллюстративное значение Как читать
zabbix[queue] 12 и плоско Хвост, не инцидент
zabbix[queue] 800 → 2000 за час Очередь копится
poller busy 90%, БД тихая Имеет смысл шаг StartPollers
poller busy 20%, slow query 8–15 с Сначала диск и план SQL
zabbix[requiredperformance] например 247.3 Ожидаемые новые значения в секунду, не «мощность сервера»

Запишите окно (час пик), число хостов/items и что меняли в шаблонах недавно. Без этой точки «стало лучше» проверить нельзя.

3. Диагностика очередей и процессов сбора

В 7.0: Administration → Queue → Queue overview. В старых ветках путь был Reports → Queue. Один-два просроченных item в деталях — норма. Пачка с задержкой минуты и больше — смотреть тип item и прокси.

В очередь не попадают: активные log/logrt/eventlog, SNMP trap, trapper, web-сценарии, dependent items. Items за прокси считаются с учётом интервала выгрузки истории прокси. Если интерфейс недоступен, item в очередь не кладут — «тихо», а не «всё успевает».

Класс процесса должен совпасть с типом очереди:

Симптом Что смотреть Параметр (имя в 6.0/7.0) Когда менять
Очередь обычных агент/SNMP, poller busy высокий zabbix[process,poller,avg,busy] StartPollers БД не в простое по slow query, шаг а не ×10
Очередь ICMP, pollers свободны zabbix[process,"icmp pinger",avg,busy] StartPingers Не поднимать StartPollers «за компанию»
Активные агенты, trapper busy zabbix[process,trapper,avg,busy] StartTrappers После проверки сети и ServerActive, см. активный и пассивный агент
Недоступные хосты тянут pollers zabbix[process,"unreachable poller",avg,busy] StartPollersUnreachable (умолчание 1; хотя бы один нужен, если запущены обычные/IPMI/Java pollers) Сначала починить агент/маршрут. Проверки асинхронных poller в unreachable не переносятся
7.0, пассивный агент, асинхронный сбор zabbix[process,"agent poller",avg,busy] StartAgentPollers Только если ключ есть в вашей 7.x
history syncer 100%, кэш истории полон zabbix[process,"history syncer",avg,busy] StartDBSyncers и БД Сначала диск SQL, не плодить syncer вслепую

Не увеличивайте StartPollers без очереди и busy. Лишние процессы едят RAM и соединения к БД. После шага подождите полный цикл сбора в том же окне нагрузки и снова снимите queue/busy. Если цифра не упала — верните значение из копии.

С 6.0 конфиг можно проверить без рестарта сервиса как единственной проверки:

sudo zabbix_server -T
# то же: sudo zabbix_server --test-config

Ожидание: процесс завершается, в выводе нет ошибки разбора. На ветках без -T смотрите zabbix_server -h. Флага -t как у nginx нет.

4. Настройка кэшей Zabbix Server

Кэш поднимают по pused и по строкам лога, не «на всякий случай». Официальные имена и смысл:

Параметр Назначение Симптом нехватки Проверка Критерий роста
CacheSize Конфигурация: хосты, items, триггеры configuration cache is fully used zabbix[rcache,buffer,pused] pused стабильно у потолка или строка в логе; шаг с запасом, не сразу 8G
HistoryCacheSize Буфер значений до записи в БД history cache is full, sleeping zabbix[wcache,history,pused] Низкий свободный history cache в доке связывают с проблемами БД; сначала SQL, потом размер
HistoryIndexCacheSize Индекс history cache рост вместе с числом items internal write-cache / лог После роста HistoryCacheSize, если индекс упирается
ValueCacheSize Недавние значения для триггеров и функций промахи кэша, нагрузка на БД при расчёте триггеров zabbix[vcache,buffer,pused] pused у потолка при живых триггерах
TrendCacheSize Часовые тренды в памяти на большой инсталляции после рестарта mid-hour тяжёлые UPDATE дока Trends; рестарт лучше на границе часа По числу числовых items, не «как у соседа»

В 6.0/7.0 для CacheSize в конфиге указан диапазон 128K–64G и умолчание 32M. Это пределы, не цель. После правки нужен рестарт zabbix-server. Не раздувайте все кэши сразу: так нельзя понять, какой сдвиг дал эффект.

5. Оптимизация опроса элементов данных и шаблонов

NVPS из zabbix[requiredperformance] растёт линейно с числом enabled items и уменьшением интервала. Часто дешевле убрать лишнее, чем купить pollers.

  • Не опрашивайте порт или SNMP OID раз в 5 секунд «на всякий случай». Для доступности обычно хватает минутного интервала — см. проверку порта.
  • Unsupported items всё равно занимают циклы. Разберите их до увеличения процессов.
  • Не вешайте полный «Linux by Zabbix agent» плюс три самодельных шаблона с теми же vfs.fs.size — см. мониторинг дисков.
  • Авторегистрация без фильтра плодит узлы и items — см. авторегистрацию.
  • Активный агент снимает пассивный опрос с сервера, но грузит trappers и сеть до 10051.

Сначала отсортируйте Queue details по типу и шаблону. Если 80% просрочки — один шаблон с коротким интервалом, меняйте интервал, не StartPollers.

6. Preprocessing и dependent items

По Dependent item зависимый элемент не имеет своего интервала: значение приходит вместе с master. Это один запрос вместо десяти SNMP/HTTP. Без preprocessing dependent копирует master как есть.

Preprocessing делает Server или тот Proxy, который мониторит хост. До 7.4.1 через preprocessing manager шли все значения; начиная с 7.4.1 — только те, у которых есть шаги. Нехватка воркеров даёт очередь и рост памяти.

zabbix[preprocessing_queue]
zabbix[process,"preprocessing worker",avg,busy]

StartPreprocessors в доке: не меньше числа ядер CPU; больше — если шаги ходят в сеть, а не только считают JSONPath. Это ориентир главы Preprocessing details, не формула «ядра × 4». JavaScript-шаги дороже, чем простое регулярное выражение: сначала упростите шаг, потом добавляйте воркеры.

Dependent не видны в Queue overview. Их задержку смотрите по master и по preprocessing queue. Не ставьте history=0 на master, если от него ждут триггеры: при history=0 триггеры по истории master не считаются, остаются dependent и inventory.

7. Оптимизация базы данных MySQL/PostgreSQL

Сервер Zabbix в 7.0 поддерживает MySQL/Percona/MariaDB (InnoDB обязателен) и PostgreSQL; SQLite — только у Proxy. Поддерживаемые линейки версий СУБД — в Requirements вашей ветки, не в блоге 2021 года. Не копируйте innodb_buffer_pool_size и shared_buffers с чужой машины.

Что проверить, а не «какое число поставить всем»:

СУБД Симптом Куда смотреть Как решать
Любая slow query в логе Zabbix, history cache full медленные запросы СУБД, iowait, план DELETE/INSERT history Диск, индексы, срок истории; не StartPollers
MySQL частое чтение с диска при записи истории использование InnoDB buffer pool, redo log На выделенной БД буфер считают от RAM и проверяют hit; на совмещённом хосте не отдавайте 75% «как в слайдах»
PostgreSQL долгие отчёты frontend work_mem (в Requirements 7.0 прямо сказано, что умолчание 4MB может не хватить), shared_buffers Стартовая оценка shared_buffers для выделенного сервера — около 25% RAM по документации PostgreSQL, редко смысл >40%. Меняйте по планам запросов
# PostgreSQL: долгие запросы (иллюстрация, порог свой)
SELECT pid, now() - pg_stat_activity.query_start AS duration, state, query
FROM pg_stat_activity
WHERE state != 'idle'
ORDER BY duration DESC
LIMIT 20;

TimescaleDB меняет поведение housekeeper — это отдельная схема в Administration → Housekeeping, не «просто PostgreSQL побыстрее». Не включайте compression, пока не прочитали главу своей версии.

Размер БД растёт от истории, не от числа pollers. Сначала срок хранения и тренды, потом железо SQL.

8. Настройка истории, трендов и housekeeping

История — каждое значение. Тренды — час: min, max, avg, count для числовых типов, меньше места. В главе History and trends совет: держать историю короткой, тренды длинными; пример в доке — 14 дней истории и 5 лет трендов. Это пример документации, не норма для бухгалтерии или расследования инцидентов. Не режьте историю, пока не согласованы графики, отчёты и срок хранения.

Глобальные сроки housekeeper в API 7.0 по умолчанию: история 31d, тренды 365d. Их можно переопределить глобально или оставить per-item. History=0: обновляются dependent и inventory, триггеры по истории item не считаются. Trends=0: тренды не считаются и не пишутся.

В zabbix_server.conf:

  • HousekeepingFrequency — как часто запускать процедуру, в часах. Умолчание 1, диапазон 0–24. Первый запуск откладывается на 30 минут после старта сервера.
  • За цикл для каждого item удаляют не больше чем 4 × HousekeepingFrequency часов устаревших данных. При частоте 1 — не больше 4 часов хвоста за проход.
  • HousekeepingFrequency=0 отключает автозапуск; остаётся runtime housekeeper_execute. Тогда длина цикла — 4 интервала с прошлого запуска, но не меньше 4 часов и не больше 4 суток.
  • MaxHousekeeperDelete ограничивает объём DELETE за раз. Трогайте, если housekeeper днём душит БД, и только после просмотра нагрузки SQL в это окно.

Рестарт большого сервера лучше планировать на границе часа: иначе тренды текущего часа уходят UPDATE вместо INSERT.

9. Роль Zabbix Proxy и распределение нагрузки

Proxy снимает опрос и preprocessing с центрального сервера: агенты и SNMP ходят на ближайший прокси, сервер принимает уже собранные значения. Это не «ещё StartPollers на том же хосте».

Что смотреть:

zabbix[proxy,"ИмяПрокси",lastaccess]
zabbix[proxy,"ИмяПрокси",delay]

delay — как долго собранные значения не отправлены (задержка прокси плюс время с последнего heartbeat). На самом прокси: zabbix[proxy_history] — сколько строк истории ждут отправки. Эти ключи на сервере или только на прокси — как указано в Internal checks: proxy_history на сервере не поддерживается.

С 7.0 для новых установок рекомендуют память вместо постоянного дискового буфера: ProxyBufferMode=hybrid (или memory) и заданный ProxyMemoryBufferSize. Уже стоящие инсталляции могут остаться с disk. Частые переключения disk/memory — сигнал увеличить буфер или возраст, ключи zabbix[proxy_buffer,…].

Прокси не знает окна maintenance сервера: очередь на время обслуживания считается иначе. Не лечите удалённый филиал бесконечными pollers в центре — поставьте прокси в филиал и сузьте шаблон.

10. Диагностика CPU, RAM, дисков и сетевых задержек

Ресурсы хоста подтверждают гипотезу, не заменяют queue/busy.

Наблюдение ОС Типичная причина в Zabbix Что не делать
CPU user высокий у poller/preprocessing много items или тяжёлый JS Сразу поднимать все Start*
iowait на томе БД история, housekeeper, маленький кэш СУБД Удваивать StartDBSyncers
RAM уходит в процессы Zabbix после роста кэшей вы сами подняли CacheSize/ValueCacheSize Копировать 8G кэша на 8G хост
Swap кэши + СУБД на одной машине Ещё увеличивать кэши
Ретаи и timeout агента сеть, Timeout, агент не слушает Считать хост «медленным Zabbix»
uptime
free -h
df -hT /var/lib/mysql /var/lib/pgsql
iostat -xz 1 5
ss -lntup | grep -E '10051|3306|5432'

Timeout в конфиге сервера и тип item — разные вещи. Сначала проверьте путь до агента, потом глобальный Timeout. Диски узлов — отдельная задача шаблона, не тюнинг сервера: мониторинг дисков.

11. Пошаговый пример оптимизации

Стенд: Zabbix Server 7.0, своя лаборатория, есть копия конфига. Ниже — воспроизводимый порядок. Цифры помечены как иллюстративные.

  1. Зафиксировать исходное. zabbix_server -V, копия конфига, Latest data за 15 минут пика: queue, poller busy, history syncer busy, history pused, одна строка slow query или её отсутствие.
  2. Выбрать одно узкое место. Иллюстрация: queue 900 и растёт, poller avg busy 92%, history syncer 18%, в логе нет slow query, ICMP-очередь пустая. Гипотеза — нехватка обычных pollers, не БД.
  3. Одно изменение. Было # StartPollers=5 (умолчание). Стало StartPollers=10 — шаг, не норма. zabbix_server -T, рестарт сервиса.
  4. Повторить измерение в то же окно следующего дня или через полный цикл после прогрева кэшей. Не сравнивайте 03:00 и 10:00.
  5. Сравнить. Если queue и busy не сдвинулись — откат и следующая гипотеза (интервалы шаблона, прокси, диск).
  6. Побочные эффекты. Больше процессов — больше RAM и соединений к БД. Если после шага вырос iowait — откат, это была БД, а не pollers.
sudo cp /etc/zabbix/zabbix_server.conf /etc/zabbix/zabbix_server.conf.bak.$(date +%F)
# одна строка:
# StartPollers=10
sudo zabbix_server -T
sudo systemctl restart zabbix-server
sudo systemctl is-active zabbix-server

В заметке к изменению: параметр, старое значение, новое, дата, очередь и busy до/после. Без этой строки тюнинг нельзя повторить и нельзя откатить осознанно.

12. Сравнение показателей до и после изменений

Иллюстративный пример (не результат испытаний на svictor.ru):

Метрика До После StartPollers 5→10 Вывод
queue в пике 900…1200 40…80 Гипотеза про pollers подтвердилась
poller avg busy 92% 48% Запас появился, не «надо ещё ×2»
history syncer busy 18% 22% В пределах шума
slow query нет нет БД не всплыла

Контрпример, тоже иллюстрация: queue не упала, syncer 95%, появился history cache is full — изменение pollers вредно, откат, работа с БД и сроком истории.

Не заявляйте «производительность выросла на N%» без своих цифр за сопоставимое окно. GUI «всё летает» — не измерение.

13. Типовые ошибки и способы отката

  • Скопировать чужой zabbix_server.conf целиком, в том числе с 5.x.
  • Поднять все Start* сразу.
  • Лечить slow query числом pollers.
  • Резать историю до суток без списка отчётов, которые от неё зависят.
  • Путать zabbix[queue] с preprocessing queue и с proxy delay.
  • Забыть кавычки в zabbix[process,"history syncer",avg,busy] — item уйдёт в unsupported.
  • Не проверить конфиг -T и узнать о опечатке после рестарта.
  • Не оставить bak-файл.

Откат:

sudo cp /etc/zabbix/zabbix_server.conf.bak.ДАТА /etc/zabbix/zabbix_server.conf
sudo zabbix_server -T
sudo systemctl restart zabbix-server
sudo systemctl is-active zabbix-server
sudo tail -n 30 /var/log/zabbix/zabbix_server.log

Ожидание: служба active, в логе нет «cannot allocate» по кэшам, queue/busy вернулись к прежней картине. Срок истории в GUI откатывается отдельно от файла сервера — housekeeper уже удалившее не вернёт.

Как проверить

zabbix_server -V
grep -E '^(StartPollers|CacheSize|HistoryCacheSize|ValueCacheSize|HousekeepingFrequency)' /etc/zabbix/zabbix_server.conf
sudo zabbix_server -T
sudo systemctl is-active zabbix-server
sudo tail -n 20 /var/log/zabbix/zabbix_server.log

Очередь не растёт в рабочее окно. Busy выбранного класса не стоит на потолке часами. В заметке есть параметр, старое и новое значение, дата, цифры до и после. Срок истории согласован, не «порезали потому что диск».

14. FAQ и официальные источники

Какую версию считать каноном?

Ту, что печатает zabbix_server -V. Главы 6.0 и 7.0 расходятся. Ссылка …/documentation/current/… со временем переезжает на новую мажорную.

Почему очередь пустая, а графики дырявые?

Dependent, trapper, log и web в Queue не входят. Смотрите unsupported, прокси delay и preprocessing.

Можно ли отключить housekeeper?

HousekeepingFrequency=0 отключает автозапуск. Данные сами не испаряются — нужен свой цикл (partitioning, TimescaleDB, ручной housekeeper_execute). Иначе диск БД вырастет.

StartPollers=100 — норма?

Диапазон в 6.0/7.0 — 0–1000, умолчание 5. 100 допустимо по схеме, не значит «нужно вам». Смотрите busy и соединения БД.

Заменяет ли Proxy тюнинг кэшей?

Нет. Proxy снимает сбор. Кэши и БД центрального сервера всё равно принимают поток значений.

Источники

Комментарии закрыты.