а

В этом вся проблема.

у нас именно на шарженой базе была такая хуйня

на другой в простом репликасете было нормально

sysctl -w vm.swappiness=5

Я сейчас поменяю, но ты можешь в двух словах объяснить, зачем?

У меня working set в оперативку помещается.

Фулсканов НЕТ.

чтоб система не пыталась выгружать данные

из памяти

Так она и не пытается... Вроде бы.

в двух словах трудно =)

Память есть же...

Это сейчас. Возьми Prometheus и node exporter и наблюдай

Но я попробую.

лучше погугли по этому параметру, это полезно знать =)

Да я, если честно, в сторону свопа и не грешил как-то.

Я уже выставил 5.

Ну и да, идея кидать что-то в свап, когда память на 100% забита и не раньше, в общем случае ублюдочна

На 100% она ни разу не забивалась же.

Да и проц свободный.

Хотя не, проц забивается.

На 100% она ни разу не забивалась же.

Думаешь почему?

Почитай про swappines

Почитай про swappines

++

Еще держать в голове, что у монги свои отношения со свободной памятью, они активно пользуются кэшированием VFS

Почитай про swappines

Сейчас почитаем, но что-то мне подсказывает, что это не проблема, хотя, кто знает.

Да и проц свободный.

а, у нас жрало cpu адово

а, у нас жрало cpu адово

Тоже жрёт.

Я имею в виду что пока всё плавно - процессор отдыхает.

попробуй сделать mongodump mongorestore

Когда база проседает и время увеличивается в несколько раз - тогда проц забивается.

это аналогично initial sync

И если не следить, то забивается весь.

попробуй сделать mongodump mongorestore

Пишут, что repair делает то же самое.

Разве это не так?

Пишут, что repair делает то же самое.

А его я уже пробовал и не помогло. mongodump -> mongorestore не пробовал, но нужно ли?

скрин топа был свежий? сейчас тормоза наблюдаются?

скрин топа был свежий? сейчас тормоза наблюдаются?

Свежий.

Вот сейчас запустил процесс.

ну давай глянем vmstat 5

Всё в норме.

одно ядро сожрано

что вы нашли в этом atop'е..

одно ядро сожрано

Он разные ест, это просто момент.

Сейчас выполняется несколько агрегаций.

Тех самых, которые проседают.

резульаты vmstat в студию

странно

res 33 гига, это 50% от памяти примено

резульаты vmstat в студию

root@izmir:~# vmstat procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 2 0 1738592 497280 240148 21681688 3 3 596 186 1 1 18 1 79 2 0 root@izmir:~#

ytn

нет

несколько строк

3-4

первую строку смотреть нельзя

Извини, не понял?

и заверни в три бэектика

блин

хуй

res 33 гига, это 50% от памяти примено

Да как бы меня это и смущает.

это нормально

Вот сейчас запустил агрегации, которые после перезагрузки базы выполняются за 130-150 секунд.

Сейчас уже за 500 перевалило.

WT по-умолчанию жрёт половину от доступной памяти

Я думаю за 1400 выполнится.

но у тебя 20 гигов кеша и 8 гигов свопа

это уже не очень нормально

А что из этого не очень нормально?

vmstat покажи

что вы гадаете? и нет там 8 гигов свопа, это максимум

а, йопта, да. 1.6 гига

vmstat покажи

Так я скинул же уже.

ох...

_несколько строк нужно_

Тебе несколько?

Да.

подобные утилиты не дают первых адекватных результатов

первое измерение - всегда с ошибкой

Забыл.

первое измерение - всегда с ошибкой

r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 1738236 623524 241304 21677584 3 3 596 186 1 1 18 1 79 2 0 1 0 1738236 623616 241320 21677612 0 0 4 160 1416 3783 14 1 85 0 0 1 0 1738232 623708 241320 21677632 4 0 4 120 1419 4247 13 1 86 0 0 1 0 1738232 623740 241336 21677656 0 0 0 144 1396 4051 13 1 86 0 0 1 0 1738232 623708 241336 21677672 0 0 0 84 1217 3329 13 0 86 0 0 1 0 1738232 623864 241344 21677692 0 0 0 168 1434 4260 13 1 85 1 0 1 0 1738232 623772 241344 21677712 0 0 0 120 1379 3953 13 1 87 0 0 1 0 1738232 624036 241348 21677756 0 0 28 128 1457 4218 15 0 84 0 0 1 0 1738232 624592 241348 21677772 0 0 0 128 1446 4017 13 1 85 1 0 1 0 1738232 625400 241352 21677792 0 0 0 172 1466 4224 13 1 85 0 0 2 0 1738224 625308 241352 21677804 8 0 8 112 1320 3328 14 1 85 0 0 1 0 1738224 626096 241352 21677828 0 0 0 144 1462 4513 13 2 85 0 0

Прямо сейчас агрегация ещё считается, если что.

ничего криминального нет

своп не используется

iowait -а нет, т.е в диски не уперлись

iowait -а нет, т.е в диски не уперлись

Так я и говорю, что по моим наблюдениям он особо к диску не обращается.

ну всегда ххочется подтверждения логами

Но тем не менее в какой-то момент происходит какая-то хрень и запросы начинают выполняться в N*2 раза медленнее.

вот в этот момент нужен вмстат поснимать

там будет всё как на духу

Его поймать тяжело... Но если получится, попробую.

Я же не могу 24/7 сидеть и мониторить.

запусти и иди

ну еще есть такая штука - sar

Я знаю про эту штуку.

Я же не могу 24/7 сидеть и мониторить.

watch vmstat > log.txt :D

или не известны моменты агрегаций в монге?

или не известны моменты агрегаций в монге?

Известны, всё в логах есть.

Они идут по X секунд, а потом начинают работать более медленно.