Я не думаю, что это проблема.

В моём случае.

угу

А редис активно работает?

Очень активно.

К сожалению в отличии от MongoDB мониторинга на Redis у меня нормального нет.

а чо mongotop говорит?

Но примерно по 100 запросов в секунду он принимает.

Я не думаю, что это мешает MongoDB.

Так как суммарно Redis ест не больше 1 GB оперативки.

И процессор не забивает совершенно.

Я бы предположил фрагментацию памяти. Это объясняет почему помагает рестарт и почему не жрет цпу

но если честно слету не скажу как это диагностировать =(

а чо mongotop говорит?

ns total read write 2016-07-30T22:02:18Z bot.dumps 653ms 653ms 0ms

А чего там смотреть нужно?

подержи немного

Держу. Сейчас выполняю агрегацию, смотрю.

Но там 500-800ms и всё.

У меня есть агрегация, которая выполняется практически сразу, за 1 секунду.

дык это таскопровод наш =)

Я умею читать названия баз :)

Когда происходит провал, она выполняется за 300-600 секунд.

либо тут какие-то заковыки с редьюсом, в котором я не алё.

Вот она меня беспокоит больше всего.

Когда происходит провал, она выполняется за 300-600 секунд.

воу

Там $addToSet в нескольких местах, я ещё не решил, грешить на него, или нет.

а ты у верен что оно равномерное количество данных агрегирует?

воу

Ну вот смотри.

Я сейчас перезагрузил базу.

И у меня агрегация Z выполнилась за 800ms.

потому что разница на три порядка это пиздец

Меньше, чем за секунду.

Я умею читать названия баз :)

ну дык, там же текучка большая, поэтому и оплог пухнет

Когда происходит "провал" - она выполняется за 300-600 секунд.

Мне кажется, всё дело в ней.

Но я пока не понял, почему.

ты уверен что провал не связан с тем что в агрегацию попадает больше данных?

а ты у верен что оно равномерное количество данных агрегирует?

Не равномерное, но working set - один и тот же.

ты уверен что провал не связан с тем что в агрегацию попадает больше данных?

Попадает конечно!

хм, хотя даже как-то удивительно мало (по объему)... неужто, 3-шка жмет так хорошо

Это не трешка жмёт, это данные так жмутся

А почему вся база тормозить начинает тогда?

Там 99% агрегаций с $in.

$in всегда разный, но ограничен по ID.

Получаем последние данные за X дней.

первое, проверь что оно точно выбирает по индексам

дважды

второе, включи отладочный лог на медленные запросы, вроде оно будет туда и агрегации складывать

и посмотри на порядки попадающих данных

второе, включи отладочный лог на медленные запросы, вроде оно будет туда и агрегации складывать

Туда все летят.

Сначала медленных запросов нет.

Потом происходит какое-то событие.

Все запросы становятся медленнее в N*2 раз.

просто если оно в одном случае у тебя агрегация по 1к документов, а в другом на 1м документов, то всё логично ваще :)

С каждым новым выполнением - всё более медленные.

вообще все?

включи slow log

Да, проседают абсолютно все запросы.

включи slow log

Так там все они, я же говорю.

и не агрегации?

Да.

м

Даже ебаный count() проседает в 5 раз где-то.

ну звучит как наша хуйня :)

у нас всё так и было

Само прошло с обновлением?

обновились, перелили реплики туда-сюда, чтоб все прошли init sync и прошло

Эх.

но ситуации когда у нас qps с 6к до 3к падают остались

но оно само теперь проходит и не кладёт монгу

startup warnings есть?

воткни халявый mms кстати

Есть только одна - что запускаю от root'a.

если он остался

Я плохой парень.

экстремал

?

а вот такая командочка отработает? numastat

pidstat -w 10 1 ещё покажи

а вот такая командочка отработает? numastat

Я читал про NUMA.

И, нет, тут нет этой хрени.

и потом pidstat -wt

с тредами

pidstat -w 10 1 ещё покажи

Там много output'a.

да

Что конкретно тебя интересует? Или тебе пасту скинуть?

gist.github.com

ОК! Залью сейчас.

желательно на агрегации

меня немного напрягает большое количество интераптов и переключений контекста

И у меня агрегация Z выполнилась за 800ms.

Я не понимаю, чего гадать: возьми perf top и натрави его на монгу в тот момент когда тормозит.

желательно на агрегации

Я уже базу данных перезапустил.

Сейчас всё ОК.

:|

Может стоит подождать.

Плюс, как верно тут сказали: prometheus

И, нет, тут нет этой хрени.

нет херни - в смысле система не-numa?

так mms есть

нет херни - в смысле система не-numa?

Да.

А почему вся база тормозить начинает тогда?

Имхо, там где-то в районе storage engine проблема. wt шибко умный и там много всяких настроек. У wt даже свой кеш

ОК! Залью сейчас.

нуууу