объём памяти зависит от того как данные используются, но в среднем надо рассчитывать что памяти должно быть не меньше чем размер индексов

А это обычно 10-25% от размера данных

cacheSizeGB исключительно регулирует только размер кэша wiredtiger. но кэш это только один тип данных хранящихся в памяти. Всё остальное никак не регулируется: буферы для курсоров, для сортировок, агрегаций, подключений, client view, размер снепшотов и ещё десятки других вещей которые требуют памяти

я не понимаю зачем столько всего. требуется всего-то навсего записывать новые данные в базу. зачем так много хранить в озу

у меня база просто на запись

Дайте монге пару гигабайт памяти

Монга меньше гига это не очень идея

Дайте монге пару гигабайт памяти

так она будет дальше и дальше кушать память

По-моему в WT в принципе меньше 512мб не умеет

по добавляю новых доках

так она будет дальше и дальше кушать память

Так зарежь по памяти её

Так зарежь по памяти её

и что дальше, она упадет

У меня она выходила за 30 гб на тестинге

если ей не будет хватить памяи

по добавляю новых доках

Если у вас write only, то кэш где-то стабилизируется

и что дальше, она упадет

Нет

Так зарежь по памяти её

Монгу нельзя зарезать по памяти

Монгу нельзя зарезать по памяти

Орли

Если у вас write only, то кэш где-то стабилизируется

почему у меня не работает это

почему у меня не работает это

Сколько свободной памяти на хосте?

на хосте 1 гб озу, добавляются много доков по несколько кб

Это очень мало

Кроме конфига монги в мире есть докер, ограничение памяти через systemd и много разных интересных вещей

Поэтому да, сама она ограничиваться не умеет, но ей ограничить - можно

Кроме конфига монги в мире есть докер, ограничение памяти через systemd и много разных интересных вещей

и как в systemd поставить лимит памяти для сервиса?

Поэтому да, сама она ограничиваться не умеет, но ей ограничить - можно

Если монге потребуется память не на кеш и она не сможет её выделить, вы получите ассерт и лежащую монгу

и как в systemd поставить лимит памяти для сервиса?

В 1гб вы монгу не упихаете

а во сколько упихаю?

Начните с 4

и как в systemd поставить лимит памяти для сервиса?

Есть 2 варианта, resources limit и своя изоляция

В 1гб вы монгу не упихаете

Ну в 1 понятно нет

Есть 2 варианта, resources limit и своя изоляция

вот человек пишет что это не поможет

Можно в докер, с ограничением лимита в нем у меня стабильно живёт месяцами

Для такого объема памяти на хосте это всё бесполезно

Потому что монга думает, что памяти столько, сколько лимит и не пытается коммитить

А без него съелада все 32гб и приходил oom

Для такого объема памяти на хосте это всё бесполезно

Ну речь не про 1 гб конечно

какие есть альтернативы монге?

Ребята, я может тупой или что :) Вы уже второй день обсуждаете, что монга жрёт память, но автор вопроса ни разу, насколька я помню, не показал, сколько именно монга у него выжрала памяти из этого гигабайта, и сколько жрут другие процессы на этом сервере.

Ребята, я может тупой или что :) Вы уже второй день обсуждаете, что монга жрёт память, но автор вопроса ни разу, насколька я помню, не показал, сколько именно монга у него выжрала памяти из этого гигабайта, и сколько жрут другие процессы на этом сервере.

На гигабайте в этом нет смысла

какие есть альтернативы монге?

У вас эта проблема будет в любом хранилище. Разница только в том, что если у хранилища есть ручки, вместо падать, хранилище будет тормозить

Ребята, я может тупой или что :) Вы уже второй день обсуждаете, что монга жрёт память, но автор вопроса ни разу, насколька я помню, не показал, сколько именно монга у него выжрала памяти из этого гигабайта, и сколько жрут другие процессы на этом сервере.

ну окей щас скрипт напишу и все покажу

когда заполниться

Нет смысла

Монга + память для ядра + системные сервисы и нет памяти

да в что за магия в этих базах. что там в озу храниться

Данные

Сервисные структуры

Буферы для обработки запросов

какие данные, мне просто добавить новые доки в базу

Попробуйте дать монге 4 гига и посмотрите что будет

Попробуйте дать монге 4 гига и посмотрите что будет

Монга будет жрать все доступные лимиты, они же даже в документации упоминали в разделе production notes о пожирании озу, точнее емнип limiting ram

Монга будет жрать все доступные лимиты, они же даже в документации упоминали в разделе production notes о пожирании озу, точнее емнип limiting ram

Ссылочку дайте где вы про это читали

https://docs.mongodb.com/manual/faq/diagnostics

Чуть косвенный ответ на них

Вопрос про RAM, ай мин, то, что вы говорили

Чуть косвенный ответ на них

Где именно?

Я не вижу рекомендаций

Бле, я не про рекомендации, не про лимитирование

=_=

Там нет ничего про ограничение потребления. Там есть про легитимное использование ручки с chacheSizeGB

То, зачем она предусмотрена вообще

Must my working set size fit RAM?¶ No.

Там и нет %)

Я про ето именно %)

Если внимательно почитать что там дальше написано, там будет объяснение куда монге нужна память. Да, working set не обязательно должен помещаться в память, но кроме кеша для данных, монге нужна память и на другие структуры.

Сортировка в памяти на каждый курсор может требовать до 64мб

Агрегации до 128

Привет! Нужна помощь! Могу ли я как-то обновить поле у каждого документа в коллекции по принципу: field: oldFieldValue + newFieldValue ? Кроме как пройтись по коллекции forEach и провести update каждого документа поочередно ничего не придумал 🤷‍♂️

Привет! Нужна помощь! Могу ли я как-то обновить поле у каждого документа в коллекции по принципу: field: oldFieldValue + newFieldValue ? Кроме как пройтись по коллекции forEach и провести update каждого документа поочередно ничего не придумал 🤷‍♂️

Начиная с версии монги 4.2, можно выполнить обновление с использованием aggregation stages

Привет! Нужна помощь! Могу ли я как-то обновить поле у каждого документа в коллекции по принципу: field: oldFieldValue + newFieldValue ? Кроме как пройтись по коллекции forEach и провести update каждого документа поочередно ничего не придумал 🤷‍♂️

Я нашел ответ: https://stackoverflow.com/questions/23868963/append-a-string-to-the-end-of-an-existing-field-in-mongodb

Начиная с версии монги 4.2, можно выполнить обновление с использованием aggregation stages

Спасибо! я как раз нашел ответ

Начиная с версии монги 4.2, можно выполнить обновление с использованием aggregation stages

А до 4.2 только с помощью forEach, верно?

А до 4.2 только с помощью forEach, верно?

+

А до 4.2 только с помощью forEach, верно?

До 4.2 если данные постоянно не меняются и допустим частичный даунтайм пр ложения, то можно сделать ту же агрегацию в новую коллекцию, потом старую удали ь и переименовать коллекцию - это будет быстрее чем вытаскивать доки, менять их и сохранять измененные

До 4.2 если данные постоянно не меняются и допустим частичный даунтайм пр ложения, то можно сделать ту же агрегацию в новую коллекцию, потом старую удали ь и переименовать коллекцию - это будет быстрее чем вытаскивать доки, менять их и сохранять измененные

thx!

Добрый вечер, как бы вы смоделировали коллекцию под сдедующую задачу: - Есть публикации У каждой публикации есть количество лайков - Есть пользователь, уникальный идентификатор которого telegram_id. - Пользователь нажимает лайк на публикацию -> like++ Каким образом можно заимплементить проверку, что пользователь уже лайкал публикацию

Думаю для матерых, задача будет на минуту - две)

да хоть массив likes, где telegram_id и вставлять через addToSet

{ "post_id": 123, "likes": [12345, 53556, 383737] } Примерно таким образом?

да, как вариант. тут от задачи зависит, и как с этим работать