Ну так что именно убивается по оом? Монга или переливалка?

Микросервис во время переливания

Микросервис во время переливания

вы же сами ответили на вопрос, причем тут монга?

Вопрос к тому, можно ли уменьшить расходуемую память уменьшив размер батча

какой средний размер документа и сколько в батче?

Микросервис во время переливания

ну то есть у вас 10 мегабайт в памяти в го в моменте(+-) вызывает oom?

Это если не учитывать текущую нагруженность сервиса, поэтому хотелось бы максимально оптимизировать это переливание

ну это не про монгу, это про другое.

Всем привет! В bson есть поле с датой, но сохранено, как строка Делаю индекс, который, получается будет строковый, а вот мне нужен индекс на дату Есть какие-нибудь приблуды, которые бы говорили, что это должен быть индекс с датой, а не строкой?

Нет такого, конвертируйте значение поля в тип даты

Как можно оптимизировать коллекцию (индексы) и запрос к ней? Есть коллекция с 10 миллионами документов У документа есть поля: - send_at, является ISODate - sended_at, является ISODate или null Индекс по двум полям существует, оба ASC Запрос вида {"send_at": {"$lte": ISODate("2024-07-17T13:45:19.817Z")}, "sended_at": null} выполняется 7 — 10 секунд, explain выглядит так: { "stage": "FETCH", "filter": { "sended_at": { "$eq": null } }, "nReturned": 0, "executionTimeMillisEstimate": 7365, "works": 11410813, "advanced": 0, "needTime": 11410812, "needYield": 0, "saveState": 14918, "restoreState": 14918, "isEOF": 1, "docsExamined": 0, "alreadyHasObj": 0 } { "stage": "IXSCAN", "nReturned": 0, "executionTimeMillisEstimate": 7242, "works": 11410813, "advanced": 0, "needTime": 11410812, "needYield": 0, "saveState": 14918, "restoreState": 14918, "isEOF": 1, "keyPattern": { "send_at": 1, "sended_at": 1 }, "indexName": "send_at_1_sended_at_1", "isMultiKey": false, "multiKeyPaths": { "send_at": [], "sended_at": [] }, "isUnique": false, "isSparse": false, "isPartial": false, "indexVersion": 2, "direction": "forward", "indexBounds": { "send_at": [ "[new Date(-9223372036854775808), new Date(1721223919817)]" ], "sended_at": [ "[undefined, undefined]", "[null, null]" ] }, "keysExamined": 11410813, "seeks": 11410813, "dupsTested": 0, "dupsDropped": 0 }

Как мне запушить последний элемент массива в этот же массив?

Как можно оптимизировать коллекцию (индексы) и запрос к ней? Есть коллекция с 10 миллионами документов У документа есть поля: - send_at, является ISODate - sended_at, является ISODate или null Индекс по двум полям существует, оба ASC Запрос вида {"send_at": {"$lte": ISODate("2024-07-17T13:45:19.817Z")}, "sended_at": null} выполняется 7 — 10 секунд, explain выглядит так: { "stage": "FETCH", "filter": { "sended_at": { "$eq": null } }, "nReturned": 0, "executionTimeMillisEstimate": 7365, "works": 11410813, "advanced": 0, "needTime": 11410812, "needYield": 0, "saveState": 14918, "restoreState": 14918, "isEOF": 1, "docsExamined": 0, "alreadyHasObj": 0 } { "stage": "IXSCAN", "nReturned": 0, "executionTimeMillisEstimate": 7242, "works": 11410813, "advanced": 0, "needTime": 11410812, "needYield": 0, "saveState": 14918, "restoreState": 14918, "isEOF": 1, "keyPattern": { "send_at": 1, "sended_at": 1 }, "indexName": "send_at_1_sended_at_1", "isMultiKey": false, "multiKeyPaths": { "send_at": [], "sended_at": [] }, "isUnique": false, "isSparse": false, "isPartial": false, "indexVersion": 2, "direction": "forward", "indexBounds": { "send_at": [ "[new Date(-9223372036854775808), new Date(1721223919817)]" ], "sended_at": [ "[undefined, undefined]", "[null, null]" ] }, "keysExamined": 11410813, "seeks": 11410813, "dupsTested": 0, "dupsDropped": 0 }

keysExamined говорит об очень широкой выборке, что все 10кк доков затрагиваются. И да тут либо индекс где sended_at первым добавлять либо как и сделали уже через partial индекс

Да, но вообще это странное поведение, имхо Я пробовал индекс только на send_at и запрос только по этому полю, но все равно очень долго работает Хотя казалось бы тот же бин поиск по этому индексу должен отработать моментально 😂 Хотя ладно, 10 миллионов и в правду много, да и сортировать еще как-то нужно

Тзза того что там $lte монга для каждого подходящего значения send_at проверяет значение sended_at. А т.к. под лте подходит много документов то и аремя соответствующее

Я проверял только с поиском по send_at с lte и индексом по этому полю, все равно долгий поиск был, хз почему Проблему собственно решил уже, но просто непонятно из-за чего такое замедление

Советую поискать описание работы составных индексов или лучше попробовать реализовать самостоятельно, чтобы появилось понимание, в целом очевидное поведение при широких выборках на неподходящих индексах

Опять таки, речь не про составной индекс)) Я делал отдельный тест с индексом только на 1 поле и поиском по одному полю и всё равно было медленно

если я поверх своей монги установлю ещё одну монгу но уже новой версии 7, у меня будут какие конфликты?

мужики, подскажите пожалуйста, никак не могу решение найти Как в много обратиться к определному элементу массива и заменить его? mongo db У меня есть записи формата: 'profit':[0,1,2], 'data':40 Как мне последний элемент массива profit увеличить на значение поля data? Т е псевдокод выглядит так: collection.update_many({}, {'$inc':{'profit.-1':"$data"}})

updateMany, чи не?

Да, но как это проблему решит?

покопай на $expr оператор, кажется то, что тебе нужно

для такого действия у тебя запрос уж очень простой. думаю чтобы найти последний элемент в массиве нужно юзать $arrayFilters, $arrayElemAt

Помогите с составлением правильного запроса https://mongoplayground.net/p/oswwkT9t-dS например вот такая example коллекция, как мне отобрать только те записи из коллекции, где в "my_array" есть 1 ?

https://mongoplayground.net/p/45orBYCFiSD

Хм, проще чем через elemMatch. Спасибо! А если случай по сложнее, если скажем поиск осуществлять не на содержание единички, а на пересечение с другими массивами, например на вход пришел массив [1,2] а на выходе должно вернуть все, массивы, которые содержать 1 или 2 исходного массива

$in: [1, 2]

Как я понимаю, результат возвращается одинаковый

Вот предположим такая коллекция - мне за один запрос без получения зная идшник нужно либо обновить Key либо вставить туда значение

База потребляет 30 — 50 ГБ ОЗУ, хотя данных внутри на 10 — 15 ГБ (не сжатое)

Монга потребляет всю память, до которой может дотянуться. Вы можете ограничить только размер кэша

От запросов и времени. У меня база в 1гб, выедала 30-40. Можете запустить моргу в докере.

А что там такого могло закэшироваться на 30 - 40 гб?))

Что делать в такой ситуации? Добавлял список доступных ip через iptables - непомогло

тип юзера добавить?

я пробовал добавлять юзера в админ с правами read write, но почему-то я мог и без аутефеканции заходить

Я роль добавил, но почему то к бд мог логиниться без нее и изменять данные

а почему через iptables не помогло ?

Iptables как настраивали?

инстанс перезагрузил?

А почему я не могу подключить к mongo db с компьютера? В связи с чем могут возникнуть проблемы эти?

если у тебя роутер на полу стоит то его нужно на стену повесить, см 50 от пола +-

У меня монга на серваке работает, через iptables доступн настроил все окей врооде, но когда с домашнего пк подключаюсь через компас то timeoueterror

локалка? наружу выбрасывать монгу такой се момент(впн если ток)