Я в mongoDB новичок, а сколько индексов должно быть?

Размер в кило, мегабайтах. У вас есть индексы в гигабайт, а есть в 4 килобайта

Ребят подскажите , как можно реализовать вставку в монгу более эфективно. Мне нужна вставка только если нет документа. Пробовал вытягивать по полу id (не _id) и если null то вставлять. Пробовал через upsert , тоесть апдейтил если есть и вставлял если нет. Так вот с увеличением числа документов в коллекции запись становится всё дольше и дольше . Так как мне нужно положить 5 миллионов записей , производительность вставки всё падает и падает. В первые 5 минут успивает код вставить 60 000 , во вторые 26 000 , и так всё меньше и меньше . Как то можно в монге реализовать без такого падения производительности

Если есть как-то-то поле которое уникально идентифицирует документ, то по нему сделать уникальный индекс и пропускать duplicate key исключение

Второй момент что производительность древовидных индексов не константная и будет O(log n)

Используйте bulk операции. Вставлять и апдейтить сразу пачку

Второй момент что производительность древовидных индексов не константная и будет O(log n)

Вот сам документ

Парсинг каждого документа в разных потоках происходит

Да, есть такое поле. Индекс я могу настроить только подключаясь к монге например через студию или можно из кода ?

Ясно. Стандарт это килобайт или мегабайты

Спасибо. Пойду гуглить )))

https://docs.mongodb.com/manual/core/index-unique

подскажите почему не работает

Никто с этим не сталкивался? Хочу удалить индексы, но вот такая ошибка выдается, о том что какой то процесс запущен связанный с этой коллекции

Никто с этим не сталкивался? Хочу удалить индексы, но вот такая ошибка выдается, о том что какой то процесс запущен связанный с этой коллекции

Никто с этим не сталкивался? Хочу удалить индексы, но вот такая ошибка выдается, о том что какой то процесс запущен связанный с этой коллекции

подскажите почему не работает

Добрый день! Есть такая структура документа: { "_id": { "$oid": "5f19ff0ac695314d3b39a579" }, "workers": { "5f589dc04e2da1d14cb713db": { "is_test": false, }, "5f73196021c61fb9934283c9": { "is_test": true, }, "5f3bcb74abb7654d6aff8753": { "is_test": false, }, }, } нужно в каждый workers добавить новое поле is_test со значением false. Чтоб на выходе стало так: { "_id": { "$oid": "5f19ff0ac695314d3b39a579" }, "workers": { "5f589dc04e2da1d14cb713db": { "is_test": false, "is_blocked": false, }, "5f73196021c61fb9934283c9": { "is_test": true, "is_blocked": false, }, "5f3bcb74abb7654d6aff8753": { "is_test": false, "is_blocked": false, }, }, } перерыл всю доку. Как с массивом вложенных документов понял как сделать. Но тут mapping. по сути это object у которого каждый филд это oid и его значение документ. как бы это в один запрос сделать? ибо этих workers там много.

думаю стоило бы workers сделать массивом из ObjectID, а вот уже данные состояния вынести в коллекцию юзера, но как я понял - сейчас менять структуру нельзя :)

Добрый день! Есть такая структура документа: { "_id": { "$oid": "5f19ff0ac695314d3b39a579" }, "workers": { "5f589dc04e2da1d14cb713db": { "is_test": false, }, "5f73196021c61fb9934283c9": { "is_test": true, }, "5f3bcb74abb7654d6aff8753": { "is_test": false, }, }, } нужно в каждый workers добавить новое поле is_test со значением false. Чтоб на выходе стало так: { "_id": { "$oid": "5f19ff0ac695314d3b39a579" }, "workers": { "5f589dc04e2da1d14cb713db": { "is_test": false, "is_blocked": false, }, "5f73196021c61fb9934283c9": { "is_test": true, "is_blocked": false, }, "5f3bcb74abb7654d6aff8753": { "is_test": false, "is_blocked": false, }, }, } перерыл всю доку. Как с массивом вложенных документов понял как сделать. Но тут mapping. по сути это object у которого каждый филд это oid и его значение документ. как бы это в один запрос сделать? ибо этих workers там много.

Доброе утро всем! Какой оператор используется чтобы конвертировать вот этот документ "_id":"ObjectId(""5f55a43aaa4db6d912489998"")", "TargetRatios":{ "_id":"ObjectId(""5f571e3db956b1285449c4ec"")", "recordType":"NodeMetaData", "NodeId":1006, "WeekBeginOn":"Monday", "EntryZoneIDs":[ 1, 9 ], "ExitZoneIDs":[ 2, 10 ], "TargetRatio":1.75 } в этот: "_id":"ObjectId(""5f571e3db956b1285449c4ec"")", "recordType":"NodeMetaData", "NodeId":1006, "WeekBeginOn":"Monday", "EntryZoneIDs":[ 1, 9 ], "ExitZoneIDs":[ 2, 10 ], "TargetRatio":1.75

Доброго дня. Уже недельку ищу решение проблемы медленного курсора, и чего то не возьму в толк. Есть у меня коллекция на 500к элементов, хочу из нее вытащить 25-40к записей, и отдать их на клиента. Стенд - репликасет (1 master 2 replica) 4.4.2 в докере на одном хосте. Запрос банален testmodel.find({ "resourceType": "virtualMachine" }) Пробовал монгусом, и стандартным mongodb в nodejs разница на уровне погрешности. Результат запроса удручающий, 3-5 секунд. Понимаю, что все тупит, именно из за сетевых задержек, т.к разворачивая в docker-compose на локальной машине точно такой же конфиг время работы = 250ms стабильно. Попробовал tcpdump пить трафик с хостов на себя и смотреть ответы, вижу что ответы летят пачками по 10-12 записей (движения курсора?) Вопрос. Разве это не нормально, хотеть вытащить из базы 25к элементов? Я много хочу? Монга так не работает? У меня явное ощущение, что я чего то в розетку не включил, и оно просто не работает. Пробовал строить индексы по этому полю, реиндексить, и тд. эффекта 0. Пытался крутить batchSize до 100 в нативном клиенте эффекта не заметил (tcpdump показывает все те же 10-12 записей) Крутил коннекшен пул, тоже без результата. Документы мелкие, 5 полей, тестом рандомом наполнил, выглядят вот так. { "_id" : ObjectId("5fe256cff6accd21a13e9155"), "team" : "7LWNfcrf", "resourceName" : "mk5CU5BdmfHtuUA8KRU22CfrMzIkRSJ09yPl", "resourceType" : "virtualMachine", "storeSize" : 3599942, "reportId" : "c510f214-79de-4e12-b725-2af120a50003", "__v" : 0 } Находил пару вопросов по перформансу cursor в интернете, но также без ответов и рекомендаций. https://dba.stackexchange.com/questions/193708/aggregation-vs-cursor-for-reshaping-mongodb-documents https://forums.meteor.com/t/iterating-over-mongo-cursor-too-slow-server-side/19531/10 https://stackoverflow.com/questions/31357025/mongodb-cursor-iteration-performance-issue Офицальные гайды по оптимизации запросов молчат на эту тему. Может кто сталкивался, подскажет куда копать. Или я может чего не так делаю?

А какой итоговый размер джсона, который вы получаете через 3-5 секунд?

Доброго дня. Уже недельку ищу решение проблемы медленного курсора, и чего то не возьму в толк. Есть у меня коллекция на 500к элементов, хочу из нее вытащить 25-40к записей, и отдать их на клиента. Стенд - репликасет (1 master 2 replica) 4.4.2 в докере на одном хосте. Запрос банален testmodel.find({ "resourceType": "virtualMachine" }) Пробовал монгусом, и стандартным mongodb в nodejs разница на уровне погрешности. Результат запроса удручающий, 3-5 секунд. Понимаю, что все тупит, именно из за сетевых задержек, т.к разворачивая в docker-compose на локальной машине точно такой же конфиг время работы = 250ms стабильно. Попробовал tcpdump пить трафик с хостов на себя и смотреть ответы, вижу что ответы летят пачками по 10-12 записей (движения курсора?) Вопрос. Разве это не нормально, хотеть вытащить из базы 25к элементов? Я много хочу? Монга так не работает? У меня явное ощущение, что я чего то в розетку не включил, и оно просто не работает. Пробовал строить индексы по этому полю, реиндексить, и тд. эффекта 0. Пытался крутить batchSize до 100 в нативном клиенте эффекта не заметил (tcpdump показывает все те же 10-12 записей) Крутил коннекшен пул, тоже без результата. Документы мелкие, 5 полей, тестом рандомом наполнил, выглядят вот так. { "_id" : ObjectId("5fe256cff6accd21a13e9155"), "team" : "7LWNfcrf", "resourceName" : "mk5CU5BdmfHtuUA8KRU22CfrMzIkRSJ09yPl", "resourceType" : "virtualMachine", "storeSize" : 3599942, "reportId" : "c510f214-79de-4e12-b725-2af120a50003", "__v" : 0 } Находил пару вопросов по перформансу cursor в интернете, но также без ответов и рекомендаций. https://dba.stackexchange.com/questions/193708/aggregation-vs-cursor-for-reshaping-mongodb-documents https://forums.meteor.com/t/iterating-over-mongo-cursor-too-slow-server-side/19531/10 https://stackoverflow.com/questions/31357025/mongodb-cursor-iteration-performance-issue Офицальные гайды по оптимизации запросов молчат на эту тему. Может кто сталкивался, подскажет куда копать. Или я может чего не так делаю?

Покажите пожалуйста explain({executionStats:1}) для вашего запроса

Вот executionStats: { executionSuccess: true, nReturned: 25001, executionTimeMillis: 37, totalKeysExamined: 0, totalDocsExamined: 75003, executionStages: { stage: 'COLLSCAN', filter: [Object], nReturned: 25001, executionTimeMillisEstimate: 3, works: 75005, advanced: 25001, needTime: 50003, needYield: 0, saveState: 75, restoreState: 75, isEOF: 1, direction: 'forward', docsExamined: 75003 }, allPlansExecution: [] },

Если я не ошибаюсь то тут nReturned = totalDocsExamined должен быть. если не равно, то означает что индекс построин не правильно или же его вообще нету.

Если я не ошибаюсь то тут nReturned = totalDocsExamined должен быть. если не равно, то означает что индекс построин не правильно или же его вообще нету.

Вот executionStats: { executionSuccess: true, nReturned: 25001, executionTimeMillis: 37, totalKeysExamined: 0, totalDocsExamined: 75003, executionStages: { stage: 'COLLSCAN', filter: [Object], nReturned: 25001, executionTimeMillisEstimate: 3, works: 75005, advanced: 25001, needTime: 50003, needYield: 0, saveState: 75, restoreState: 75, isEOF: 1, direction: 'forward', docsExamined: 75003 }, allPlansExecution: [] },

У вас точно одинаковые объёмы данных на всех стендах?

Так, хорошо, теперь видно что монга достаёт из хранилища 25 тысяч документов за 30 мс. Это на локальном или на удалённом кластере?

Вы запускаете скрипт на удалённом сервере или скрипт исполняется локально, но подключается к удалённому серверу?

локально, но подключается к удаленному. Собственно как и работает приложение. Сервер с приложением отдельно, сервер с базой отдельно. Все в рамках одной внутренней сети, никакого хождения через внешние интернеты, никаких облаков.

Если есть возможность, выполните этот скрипт на сервер с монгой. Если такой возможности нет, то сделайте time mongodump --query=… с вашим запросом

думал что сеть кривая, пробовал взять на атласе, бесплатную монгу, результаты те же.

А попробуйте пожалуйста сделать на вашем сервере дамп с —query, найти в нём .bson файл и после этого скачать этот файл по scp/sftp и замерить время

А как сделать дамп с query? (пока не силен, знаю только mongodump но он вроде для бекапов)

https://docs.mongodb.com/database-tools/mongodump/#cmdoption-mongodump-query

https://docs.mongodb.com/database-tools/mongodump/#cmdoption-mongodump-query

4.8 мб файл получился. Scp говорит вот что в verbose режиме. Transferred: sent 4484, received 4956336 bytes, in 3.2 seconds Линуксовый тайм тоже самое. real 0m3.699s user 0m0.095s sys 0m0.083s Похоже на то, что 5мб по сети, действительно летает за 3 секунды....

4.8 мб файл получился. Scp говорит вот что в verbose режиме. Transferred: sent 4484, received 4956336 bytes, in 3.2 seconds Линуксовый тайм тоже самое. real 0m3.699s user 0m0.095s sys 0m0.083s Похоже на то, что 5мб по сети, действительно летает за 3 секунды....

Я выставил batchSIze в 80к, и с сетевкой в пару гигабит, это 200ms) Теперь все на своих местах, и работает как положено! Спасибо вам огромное!! @titiaiev @dd_bb @daara9

Подключился к машине с нормальной скорость сети в 2гбит и все равно от пачки зависит очень время выполнения.