+----------+ | COUNT(*) | +----------+ | 2673511 | +----------+

| Table | Create Table | history_uint | CREATE TABLE `history_uint` ( `itemid` bigint(20) unsigned NOT NULL, `clock` int(11) NOT NULL DEFAULT 0, `value` bigint(20) unsigned NOT NULL DEFAULT 0, `ns` int(11) NOT NULL DEFAULT 0, KEY `history_uint_1` (`itemid`,`clock`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin |

tsdb будет когда-нибудь?

что вы имеете ввиду? может это вам поможет, но пока экспериментально https://www.zabbix.com/documentation/4.0/manual/appendix/install/elastic_search_setup

не видно что там у тебя с таблицей, сколько строк, какие индексы, как настроена СУБД, как настроена ФС где лежит БД

К слову, про индексы. Разве они при инсертах важны?

что вы имеете ввиду? может это вам поможет, но пока экспериментально https://www.zabbix.com/documentation/4.0/manual/appendix/install/elastic_search_setup

спасибо

К слову, про индексы. Разве они при инсертах важны?

конечно, чем их больше тем тяжелее инсертить - их надо перестроить

конечно, чем их больше тем тяжелее инсертить - их надо перестроить

Мм, они же наверное не ребилдятся при каждом инсерте.

Мм, они же наверное не ребилдятся при каждом инсерте.

перестраивается индекс

Тут есть люди, кто новую версию заббикса выпустили в свет?

insert into history_uint (itemid,clock,ns,value) values (29273,1538678213,608749526,1901376),(29153,1538678213,609298270,0),(29033,1538678213,611453646,270634590208);

версия СУБД и какая ФС, какие опции монтирования и какой тип диска(SSD, HDD)? какой innodb_flush_method и innodb_flush_log_at_trx_commit?

как давно и вообще делался ли optimize для таблицы?

перестраивается индекс

Я вот не нашел этого в доках, но нагуглил такое утверждение: In the case of InnoDB (which should be your default storage engine with MySQL), inserts and updates and deletes change primary key or unique key indexes immediately. But they never rebuild the whole index, they add new values into (or take values out of) these indexes.

дядя Саша, чем больше индексов на большой таблице - тем тяжелее идет вставка

версия СУБД и какая ФС, какие опции монтирования и какой тип диска(SSD, HDD)? какой innodb_flush_method и innodb_flush_log_at_trx_commit?

и это SELECT @@optimizer_switch\G

дядя Саша, чем больше индексов на большой таблице - тем тяжелее идет вставка

Я суть понял, рекомендации по оптимизации почитал - вставлять большими кусками и всё такое. )

есть вапще мегахак - грохнуть индексы, сделать громадную вставку, создать индексы

но тут таких объемов нет

А чего вообще к индексам прицепились? Я бы начал, например, с конфига сервера СУБД и вообще описания объемов, НВПС и железа.

никто к ним не прицепился

посмотри какие вопросы были заданы

А, ок, это я прицепился )

версия СУБД и какая ФС, какие опции монтирования и какой тип диска(SSD, HDD)? какой innodb_flush_method и innodb_flush_log_at_trx_commit?

# mysqld -V mysqld Ver 10.3.9-MariaDB for Linux on x86_64 (MariaDB Server)

версия СУБД и какая ФС, какие опции монтирования и какой тип диска(SSD, HDD)? какой innodb_flush_method и innodb_flush_log_at_trx_commit?

Ext4 на VPS под управлением Proxmox (ZFS RAID I без компрессии)

версия СУБД и какая ФС, какие опции монтирования и какой тип диска(SSD, HDD)? какой innodb_flush_method и innodb_flush_log_at_trx_commit?

innodb_flush_log_at_trx_commit ставил в 2, не помогло. Сейчас 0 стоит.innodb_flush_method = O_DIRECT ставил, тоже не помогает.

Не, с MySQL игрались уже. Оптимизировали всё, что только можно и нельзя.

Всё же косяк из zabbix ИМХО идёт.

медленная вставка, которая описана в логе медленных запросов

это или мускулю не хватает воздуха, или медленная ФС, или проблема с БД

ну давай вывод сюда

hdparm -Tt /dev/vda

или какое там у тебя лочное устройство - посмотри в выводе lsblk

мне не нравится проксмокс у тебя с зфс

А давайте всё же искать косяк в заббиксе. Проксмокс уже гоняли под тестами через fio

А давайте всё же искать косяк в заббиксе. Проксмокс уже гоняли под тестами через fio

ты имеешь на это право

iowait 30% на VPS

аминь

ZFS здесь ни причем. Образ диска в raw и запись идёт напрямую (забыл как это называется)

смотри. я иду по обычному алгоритму поиска узкого места

если ты в теме то можешь дальше искать причины - я не против

Гоняли диски с выключенными VPS много часов. Диски в порядке. Узлов буквально с десяток.

если обращаешься с проблемой - то думаю все перепробовал

если не нравятся вопросы - без проблем. выпиливаюсь из дискуссии и все

никто никому не должен - ведь так?

Да, всё, что касается гипервизора, VPS и MySQL перепробовал

никто никому не должен - ведь так?

Ты обиделся что ли?

Да, всё, что касается гипервизора, VPS и MySQL перепробовал

без обид но я в это не верю

Ты обиделся что ли?

на что? на то что я попросил выводы команд а ты их не предоставил? проблема на твоей стороне - мне не на что обижаться

без обид но я в это не верю

Мне обязательно скидывать мегабайтные логи замеров, чтоб ты убедился?

я не запрашивал мегабайтные логи

перечитай чат, пожалуйста

стандартные вопросы диагностики и понимания твоего окружения

но hdparm хотелось бы глянуть

и опции монтирования ФС

innodb_flush_log_at_trx_commit ставил в 2, не помогло. Сейчас 0 стоит.innodb_flush_method = O_DIRECT ставил, тоже не помогает.

Так а всё-таки, текущий конфиг какой?

Ну и объемы озвучены не было.

# hdparm -Tt /dev/sda /dev/sda: Timing cached reads: 32408 MB in 1.98 seconds = 16332.47 MB/sec Timing buffered disk reads: 250 MB in 3.06 seconds = 81.81 MB/sec

-rw-rw---- 1 mysql mysql 213909504 окт 4 22:50 history.ibd -rw-rw---- 1 mysql mysql 1323 окт 1 01:20 history_log.frm -rw-rw---- 1 mysql mysql 114688 окт 1 01:20 history_log.ibd -rw-rw---- 1 mysql mysql 1770 окт 1 01:20 history_str.frm -rw-rw---- 1 mysql mysql 9437184 окт 4 22:41 history_str.ibd -rw-rw---- 1 mysql mysql 1013 окт 1 01:20 history_text.frm -rw-rw---- 1 mysql mysql 114688 окт 1 01:20 history_text.ibd -rw-rw---- 1 mysql mysql 1012 окт 1 01:20 history_uint.frm -rw-rw---- 1 mysql mysql 310378496 окт 4 22:50 history_uint.ibd

dd if=/dev/zero of=/tmp/4g.img bs=1M count=4096

должно быть доступно более 4 гиг

дисковая у тебя хуже обычного сата

Сейчас ограничение стоит в 500iops на VPS

сколько памяти на сервере

лезет ли в своп

покажи вывод создания 4гигового файла

На сервере 64ГБ. swap чист

ERROR: S client not available

dd if=/dev/zero of=/tmp/4g.img bs=1M count=4096

oflag=direct? :)

oflag=direct? :)

нееееееееее

iowait 30% на VPS

ОС тратит 30% времени на ожидание ответа от хранилища, этого достаточно для того, чтобы продолжить исследование в сторону хранилища; долгий ответ = высокие очереди = "slow query"

/stat@combot

combot.org/c/-1001047213540

ОС тратит 30% времени на ожидание ответа от хранилища, этого достаточно для того, чтобы продолжить исследование в сторону хранилища; долгий ответ = высокие очереди = "slow query"

А ещё это может быть последствием слишком частых позывов на запись, которые очередь просто не в состоянии принять вследствии медлительности.

На сервере 64ГБ. swap чист

Так у вас под буферы всего 2 гига отдано

Я бы наверное пославил еще innodb_flush_method в O_DSYNC.

Так у вас под буферы всего 2 гига отдано

У меня весь объём БД для zabbix туда влезет раза два, а то и три

А ещё это может быть последствием слишком частых позывов на запись, которые очередь просто не в состоянии принять вследствии медлительности.

у вас хранилка на чем построена?

ZFS?

У меня весь объём БД для zabbix туда влезет раза два, а то и три

А, ок. Ну, я же спрашивал про размеры и скорость вставки.

у вас хранилка на чем построена?

Гипервизор на Proxmox (ZFS RAID I). крутится VPS ext4 с zabbix (нагрузки от других VPS на диск нет).

[root@localhost ~]# dd if=/dev/zero of=/tmp/4g.img bs=1M count=4096 4096+0 записей получено 4096+0 записей отправлено скопировано 4294967296 байт (4,3 GB), 31,6253 c, 136 MB/c

Всем привет!! Подскажите как сделать тут {SYS-TEMP:sysCputemp.last()}>58

чтом не по последнему показателю а например за последние 15 минут

[root@localhost ~]# dd if=/dev/zero of=/tmp/4g.img bs=1M count=4096 4096+0 записей получено 4096+0 записей отправлено скопировано 4294967296 байт (4,3 GB), 31,6253 c, 136 MB/c

и опции монтирования ФС

чтом не по последнему показателю а например за последние 15 минут

last(15m)

чтом не по последнему показателю а например за последние 15 минут

last(15m)

бывает просто глючат свичи и показуют 0 на пару минут

и опции монтирования ФС

Да стандартные опции. defaults в fstab

попробуй для начала noatime

но надо убрать iowait

я не уверен в том что проксмокс правильно душит по IOPS

last(15m)

Спасибо!

last(15m)

Спасибо!

кстати можно посмотреть с помощью iostat -xz 1 что там по иопсам

Теперь триггер будет срабатывать отталкиваясь по данным за последние 15мин ??

но я б дал больше БД памяти смонтировал с ноатайм

и смотрел бы на top -d 1

iostat -xz 1

vmstat 1