хм

коннекшенов чота 4к стало внезапно: https://yopp.in/Vm6

Есть уже где-то список фич 3.4? Релиз в ноябре, еслм верить их JIRA. Пока нашёл только

Release Notes - MongoDB https://jira.mongodb.org/secure/ReleaseNote.jspa?projectId=10380&version=17091

Наконец-то обещают case insensitive indexes

добрый день, хочу удалить дубликаты из коллекции. Нашёл метод db.collection.ensureIndex({my_key:1}, {unique: true, dropDups: true}) нашёл даже примеры, где на коллекцию с дубликатами применяют этот метод и всё работает как надо - дубликаты удаляются. Однако, когда я запускаю у себя этот метод, сообщается об ошибке ""errmsg" : "E11000 duplicate key error collection:" ну и указывается на первое встречающееся значение my_key, которое встречается в коллекции больше одного раза. не подскажете, в чём я ошибаюсь?

я думаю сначала нужно удалить дубликаты, а потом уже цеплять индекс

как вариант можно создать вторую пустую коллекцию с этим индексом и перелить в нее документы из первой коллекции

)) небанально, но сработает почему-то не могу найти другого метода быстрого удаления дубликатов, кроме объявления индексов, мне в основном это кажется странным

в любом случае, спасибо за совет!

dropDups не работает уже давно.

Just in case.

да, заметил потом, спасибо вообще довольно распространённая, как мне кажется, задача, удалить документы из коллекции, в которых дублируется определённое поле. Теперь я понял, что нужно было заранее предусматривать такое и устанавливать индексы, которые бы не позволяли записывать подобные документы, но почему сложно найти простой механизм удаления дубликатов, я пока не уяснил.

я согласен, что моя постановка вопроса, быть может, некорректна, и задача решается на этапе проектирования коллекций. Мне скорее просто важно оставить в коллекции любой из документов с повторяющимися bar. И, на мой взгляд, не совсем корректно сводить пример к _id, так как это ключ по умолчанию.

Привет, почему монга со временем сжирает 99% памяти? Каждый день приходится перезапускать

Монгодб килится

Куда смотреть?

Монгодб килится

Это как?

Я вот тоже каждый день перезапускаю, но не из-за памяти.

эм

В доке написано, что оно хавает 65% от оперативки - 1гб или 1гб смотря что больше

У меня 2гб

Оперы всего

А кто убивает процесс-то?

Оно стабильно сжирает 95%

Ты уверен?

В доке написано, что оно хавает 65% от оперативки - 1гб или 1гб смотря что больше

если у тебя WT, это кеш самого WT

А кто убивает процесс-то?

Я не знаю, написано просто Killed

сама монга ещё может нормально жрать памяти вне WT

сама монга ещё может нормально жрать памяти вне WT

Tiger

ну вот, там в документации написано что никто не гарантирует что монга не сожрёт больше

а она сожрёт

Но как бы безконтрольно

Аж до процесс киллд

killed это ось прихлопнула процесс, так как ядру не хватило памяти

mysql и монга на одном хосте с 2 гигами памяти?

норм

Ну вот сейчас 84

Да но сиквел почти не юзается

включи своп

если не хочешь добавлять памяти

На сколько гб в этом случае имеет смысл свопа?

вощем-то из-за отсуствия свопа монгу тебе и убивают

Ск свопа можно выделить?

обычно выделяют половину памяти

можно ещё http://lwn.net/Articles/317814/

но ваще, если монге надо столько памяти, я бы добавил памяти

сколько индексы занимают?

Не знаю как узнать

https://docs.mongodb.com/manual/tutorial/ensure-indexes-fit-ram/

Per collection?

там слева есть отличное меню, в котором можно обнаружить db.stats()

Посчитал, где-то 700мб

ну вот

тебе памяти надо больше

если индексы не влазят в память всё очень плохо

а ещё надо место на горячие страницы

А как знать что они не влазят? 700мб влазит в 1.9гб

Как оценить в отношении того сколько нужно самой монге

2 гига памяти при учёте что 700 мегабайт только одни индексы это уже в притык

Понял

Спасибо

Как оценить в отношении того сколько нужно самой монге

есть понятие working set, это типа сколько суммарно занимают «горячие» документы и индексы

А горячие документы как-то измерить можно?

примерно прикинуть по avgobjsize и какое количество документов из коллекции используется

IO какое преобладает? R/RW/W?

если R то можно грубо 4 * размер индексов

хотя в любом случае, без метрик, это всё катание какашек

яб просто пока перетащил на тачку в 8 гигами памяти и посмотрел бы

скорее всего 8 гигов за уши хватит на ближашее время

яб просто пока перетащил на тачку в 8 гигами памяти и посмотрел бы

Понял

монга очень чувствительна к количеству памяти

хотя в любом случае, без метрик, это всё катание какашек

А метрики, внутренние монговские статсы?

да

можно взять прометея, если на MMS денег жалко

монга очень чувствительна к количеству памяти

Да, я уже заметил)))

об этом в доке мне кажется везде написано

Prometheus.io?

Общий вопрос, насколько хороша монго для больших объёмов документов? Ну вот например 200к и это только начало, через год уже будет за 5 млн доков, стоит уже задумываться над каким-то другим решением или при правильной настройке монга может схавать?