show full processlist

https://pastebin.com/FPdkkfFQ

top -n 1

https://pastebin.com/N9BFuxmp

Нет нагрузки

Нет нагрузки

43,8 wa

Магия

Стоп мускулю сделай

Или даже потуши заббикс

Не мускуль

Или даже потуши заббикс

https://pastebin.com/7YXyscpV

0,0 wa

А есть доступ к гипервизору?

Да

Убери лимит по диску

Какой смысл лезть на гипер сейчас?

На ввод вывод

Какой смысл лезть на гипер сейчас?

И запусти снова заббикс

И запусти снова заббикс

А вот на слово нельзя поверить, что это уже не раз делалось?

А вот на слово нельзя поверить, что это уже не раз делалось?

Нет конечно

Почему?

Делаем +1 раз

Думаешь я тут пришел просто поприседать с тобой?

Сидел такой и как давай тебе написывать.

Думаешь я тут пришел просто поприседать с тобой?

Думаю как поймать проблему

Сидел такой и как давай тебе написывать.

Не нервничай

Никак. Только дебаг заббикса.

Конфиг заббикса покажи

Это VPS с заббиксом

Конфиг сервера?

И пакеты заббикса в системе

Конфиг заббикса покажи

https://pastebin.com/1stcKxpP

[root@localhost ~]# rpm -qa | grep zabbix zabbix-web-mysql-4.0.0-2.el7.noarch zabbix-release-4.0-1.el7.noarch zabbix-server-mysql-4.0.0-2.el7.x86_64 zabbix-web-4.0.0-2.el7.noarch zabbix-agent-4.0.0-2.el7.x86_64 zabbix-get-4.0.0-1.1rc3.el7.x86_64

Планировщик I/O посмотри какой, если есть возможность. Какой-нибудь noop будет поприятнее для мускуля.

Где вы все же взяли 13.5к rps в мускуле то? а что показывает mysqladmin status

Где вы все же взяли 13.5к rps в мускуле то? а что показывает mysqladmin status

Uptime: 1684 Threads: 54 Questions: 30231 Slow queries: 0 Opens: 128 Flush tables: 1 Open tables: 122 Queries per second avg: 17.951

Uptime: 1684 Threads: 54 Questions: 30231 Slow queries: 0 Opens: 128 Flush tables: 1 Open tables: 122 Queries per second avg: 17.951

А откуда 13к запросов?

Тут нет

СЕйчас нет. Перезагружали же.

А когда появляется?

Воспроизвести можешь?

Когда спрашивали, тогда и появились.

Хаускипер вырубал?

Сейчас их нет. Не смогу.

Хаускипер вырубал?

Он сейчас на 5 часов стоит

ну вероятно когда хаускипер пытается удалить старые значения раз в 10 часов...

Да, вырубал

Да, вырубал

Пофиг?

Пофиг.

Есть график rps мускуля?

Ну как пофиг. Резкий скачок в момент запуска (вручную запускал спецом) пару десятков секунд и всё, он уже готов.

Не, там нет большой истории.

заббиксу от силы чуть больше недели.

Не, там нет большой истории.

А тренды?

заббиксу от силы чуть больше недели.

Показывай график

Свежак внезапно решил поставить и вот наткнулся на такое.

А в dmesg ничего нет?

Но нужен график rps

Показывай график

На графике утилизация ЦПУ только.

И график операций

Не писал MySQL

Мускул добавляй в мониторинг

Смотрел оперативно по показателям.

Там увидим что-то

Добавил. Но это историю MySQL надо насобирать.

Статистика по операциям и моменты всплеска rps

Добавил. Но это историю MySQL надо насобирать.

Ок

ERROR: S client not available

Не будет там диких всплесков. Да и какой смысл их смотреть, если на обычных операциях iowait шкалит.

Если бы ты был доктором: - У меня рука болит. - Сломана? - Нет. - Давайте сломаем и посмотрим на сколько сильнее будет боль.

До разрыва c defaults в fstab, после с noatime,nodiratime

dmesg молчит?

Ничего нет?

На гипере и в ВМ?

Да, молчит. Тишина после загрузки.

А давай запустим хаускипер

мб проблема все-таки в дисковой системе? что под диском у ВМ?

Ладно парни, я всё. глаза слипаются.

В общем с заббиксом ок

Либо MySQL, либо zabbix я думаю.

все спокойной ночи.

Либо MySQL, либо zabbix я думаю.

Гипервизор

Гипервизор

Было бы да, но увы нет.

fio гоняли спецом на чистой ОС.

Было бы да, но увы нет.

Сейчас с заббиксом проблем нет

latency повышены, но в целом ок

fio гоняли спецом на чистой ОС.

и чего нагоняли? какая задержка?

любая траназкционная БД упирается в однопоточную последовательную запись в wal - latency тут критична

отключите обязательную запись в лог на уровне mysql - увидите, как проблемы уйдут

и чего нагоняли? какая задержка?

https://pastebin.com/MCTiMbYu

--direct=0 - должен быть 1

вы так не меряете диск

128GB файл, что же тогда меряется?

куча абстракций перед диском. в первую очередь оператива. direct=1 == O_DIRECT buffered=0 также учитывайте

и прогоните еще раз, думаю результаты у вас поменяются

для большого файла думаешь критичен буфер будет?

я не буду спорить - не имеет смысла смотреть fio без директа для оценки дисковой полки что можно сделать - a) посмотреть с директом и без buffered b) врубить на уровне mysql sync_binlog = 0 innodb_flush_log_at_trx_commit = 2 или 0

в случае b - посмотреть, что поменяется по дефолту этот лог всегда ждет сброса на диск (значение 1) - отсюда и боттлнек в виде 1поточной последовательной записи журнала идеал для этих логов - шпиндель, который больше никто не дергает =)