можно так делать

а что не так?

никто не в курсе, хочу в заббикс получать информацию по mongo cache есть готовые скрипты? Что нужно дергать чтобы выводить инфу (full,dirty,size и прочее)?

нет

нет

ладно буду танцевать от mongostat

не надо

?

https://www.percona.com/blog/2018/07/05/configuring-pmm-monitoring-mongodb-cluster/

уже готовые решения есть, не стоит изобретать велосипед

потом глобальные метрики кеша wt смысла почти не имеют

у меня везде заббикс. графана с него данные получает.

потом глобальные метрики кеша wt смысла почти не имеют

а что имеет? почему cache параметры не так важны?

давайте от обратного, зачем они вам?

давайте от обратного, зачем они вам?

заказчик просит выводить. а им на каком то симпозиуме по монго сказали помониторить параметры кэша, не упираются ли они в эти показатели

мониторить что?

и что значит «упираются»? :)

так то можно вообще все циферки какие есть вывести, я делал экспортер в прометей который собирал все метрики на уровне коллекций. только толку от этих циферок никаких, если не знать куда, зачем и как смотреть

смотреть на кеш бессмысленно, он как уличный котик, должен быть полный и немного грязный

как раз среди заказчика я не нашел людей которые точно бы мне сказали что они ищут)) скорее всего этого точно никто не знает. Просто ищут ботлнеки, анализируют.

глобально смысл имеют evictions, pages/bytes read into и pages/bytes writen from

не там ищут

глобально смысл имеют evictions, pages/bytes read into и pages/bytes writen from

что, они покажут какие то аномалии ?

да, но это относительные метрики

если монга начала тормозить, при этом у нас резко выросли evictions и read into, значит резко изменился паттерн запросов и кеш дестабилизировался. вероятно читаем что-то очень жирное

если собирать метрики из коллекций, то можно будет увидеть какая коллекция устроила дискач

но это уже диагноситка отказов

кеш не то место где надо искать узкие места

узкие места надо искать в статистике запросов

если собирать метрики из коллекций, то можно будет увидеть какая коллекция устроила дискач

интересно. Есть огромная коллекция, куда все пишется скоупом, есть подозрения, что там лимиты какие то срабатывают

нет никаких лимтов

срабаывать вообще нечему

дайте заказчику вот эту ссылочку https://db-ai.co

пусть приходят, а я им расскажу куда смотреть, куда не смотреть и как найти куда они уперлись

hello

А не подскажите пожалуйста, какие бесплатные хостинги, чтобы и бота туда можно было закинуть, имеют удобненькую панель управления для баз MongoDB?

А не подскажите пожалуйста, какие бесплатные хостинги, чтобы и бота туда можно было закинуть, имеют удобненькую панель управления для баз MongoDB?

https://cloud.mongodb.com

а, вообще тут чат по монге, но бесплатных хостов тока DO если пересоздавать каждые 2 месяца сервак а ваще хуки + хероку

А не подскажите пожалуйста, какие бесплатные хостинги, чтобы и бота туда можно было закинуть, имеют удобненькую панель управления для баз MongoDB?

И чай попить и печеньки покушать?

И чай попить и печеньки покушать?

Ага

а, вообще тут чат по монге, но бесплатных хостов тока DO если пересоздавать каждые 2 месяца сервак а ваще хуки + хероку

ну хотелось чтобы как у DO с Постгре https://try.digitalocean.com/dbaas-beta/

ну хотелось чтобы как у DO с Постгре https://try.digitalocean.com/dbaas-beta/

это чат по монге, повторяю

это чат по монге, повторяю

Не злись, он ещё молодой

Не злись, он ещё молодой

я не злюсь

Приветствую. Подскажите, учу монгу и работаю и в терминале и в компасе. так вот в компасе фильтр не работает с этим условием { results: { $elemMatch: {$gte: 70, $lt:80 } } } красным горит и не пускает, хотя в доке этот же пример со скрином из окна компаса. и там вроде как работает. Мб в новой версии синтаксис изменился? Или я что делаю не так. Объясните плз

Приветствую. Подскажите, учу монгу и работаю и в терминале и в компасе. так вот в компасе фильтр не работает с этим условием { results: { $elemMatch: {$gte: 70, $lt:80 } } } красным горит и не пускает, хотя в доке этот же пример со скрином из окна компаса. и там вроде как работает. Мб в новой версии синтаксис изменился? Или я что делаю не так. Объясните плз

Вероятно, ты не указываешь на коллекцию. dB.someDb.find({results : {<и все остальное сюда>}})

Всем привет, подскажите пожалуйста, есть ли возможность в mongoose создания многоуровневого объекта с возможностью его изменения в будущем, либо нужно использовать только populate для этого?

Вероятно, ты не указываешь на коллекцию. dB.someDb.find({results : {<и все остальное сюда>}})

Спасибо за ответ, однако оказалось что синтаксис верный. На форуме mongoUniversity подсказали вот это I had the same issue for a while, it seems that Compass is very sensitive. Things that helped: reset the query before inputting the filter. do not copy/paste the filter, type it in. disconnect/reconnect to the DB, especially if you are low on memory on the computer помогло 😀

Всем привет, подскажите пожалуйста, есть ли возможность в mongoose создания многоуровневого объекта с возможностью его изменения в будущем, либо нужно использовать только populate для этого?

можно, шарьте доку примерно nested objects

утро! ребят, косяк... то ли код кривой, то ли ещё чего... в общем, у меня в базе появилось множество одинаковых записей... много... тысяч 10... а нужных всего тысяч 7 остальных, если я ничего не путаю... вопрос.. как удалить все повторяющиеся записи?

Я бы на своём языке программирования сделал цикл foreach который достаёт все записи, в цикле проверяет наличие таких же и выполняет deleteMany по айдишкам

Я бы на своём языке программирования сделал цикл foreach который достаёт все записи, в цикле проверяет наличие таких же и выполняет deleteMany по айдишкам

то есть перебарть for'ом find, собрать все вернувшиеся _id в лист, и сделать delete_many, оставив один какой-нибудь?)

то есть перебарть for'ом find, собрать все вернувшиеся _id в лист, и сделать delete_many, оставив один какой-нибудь?)

Да, для каждого элемента list'a делаешь поиск по всем остальным на соответствие текущему, если найдено то удаляешь

сейчас попробую...

тут вообще можно несколько проще, главное убедиться что дубли прям полностью дубли и неважно какой из доков дропать. можно создать новую коллекцию и в ней уникальный индекс, по вашим критериям уникальности, потом просто перекинуть все данные из текущей коллекций в ту что с индексом, игнорируя ошибки дубликатов. а потом удалить текущую коллекцию и переименовать новую как старую

причем индекс вам так и так надо делать раз такая ошибка появилась раз, то появится еще

из того, что я вижу - прям полностью дубли... рученьки кривенькие... с индексом я работать ещё не умею(( я вообще пытался сделать таймер.. БД, собирающая инфо по пользователям таймера как-то по приколу получилась...

из того, что я вижу - прям полностью дубли... рученьки кривенькие... с индексом я работать ещё не умею(( я вообще пытался сделать таймер.. БД, собирающая инфо по пользователям таймера как-то по приколу получилась...

https://docs.mongodb.com/manual/core/index-unique/

https://docs.mongodb.com/manual/core/index-unique/

+1

если индексировать, то это мне само заполнение базы переделывать... из всего, что может быть уникальным, у меня только набор {"user_id": 1, "type": 1, "date": 1} но эффективность этого индекса стремиться к нулю...

если индексировать, то это мне само заполнение базы переделывать... из всего, что может быть уникальным, у меня только набор {"user_id": 1, "type": 1, "date": 1} но эффективность этого индекса стремиться к нулю...

не понимаю что вы понимаете под "эффективностью", но консистентность бд это очень важная хрень ради которой можно и десяток индексов настроить

если индексировать, то это мне само заполнение базы переделывать... из всего, что может быть уникальным, у меня только набор {"user_id": 1, "type": 1, "date": 1} но эффективность этого индекса стремиться к нулю...

ничего не мешает посмотреть какие запросы у вас выполняются и изменить порядок полей в индексе, чтобы чтото начало его использовать. например я вижу поле с датой, просто поставьте его в начало и уже любая выборка по дате будет его использовать

база данных уже скоро до терабайта доползет

у кого сколько база данных весит?

база данных уже скоро до терабайта доползет

А сколько коллекций всего?

8

@dd_bb а есть общая методика расчета capacity на запись в монге? Кол-во записей/сек, индексы, размер документа и железо на сервере известны

у кого сколько база данных весит?

по месту 10тб, но оно досаточно холодное

о норм.

@dd_bb а есть общая методика расчета capacity на запись в монге? Кол-во записей/сек, индексы, размер документа и железо на сервере известны

Нагрузочное тестирование и экстраполяция текущего использования

тесты наверняка есть на гитхабе

Нагрузочное тестирование и экстраполяция текущего использования

делаем такое, но я пока не понимаю как привязать результаты к iops'ам

сейчас воркфлоу такой: 1. пишется код 2. тестируется перформанс тестами 3. снимаются метрики с CPU/RAM 4. сравниваются с предыдущими запусками, делаются выводы

в этой схеме отсутствует снятие метрик со стораджа, это как-то можно вообще мониторить?

iostat например

но ваше узкое место тут перфоманс тесты

если это часть CI, то скорее всего они дают вам ложные цифры

если вы специально не притягивали их к боевым условиям

нет, это не CI, это запланированные сессии прямо на продакшене

я не вижу смысла деать перфоманс тестирование на продакшене

у вас на продакшене уже есть нагрузка

если быть более точным - проводится в несколько этапов