да и я пока юзаю много где монгузовский populate. ... хз как оно на нём работает

популейт работает быстрее, чем $lookup, так что не парся

ну из-за того, что нет индексов, скорее всего, монга пробует закешировать твои выборки, забывает память и своп, вот и получаешь проседание. Да, select - обрезает на момента базы, это правильно. Добавь ещё всюду lean, где нет изменений.

а мне говорили что наоборот - что агрегейшен фреймворк работает шустрее - так как на уровне БД-шки

а про индексы - по какому принципу их сейчас добавлять если я не знаю где в итоге они реально будут нужны.? я планировал запилить стресс-тесты, но пока рано

да, сам агрегейш фреймворк работает быстрее, но populate агрегированных данных - лучше $lookup

с этим у нас тоже был перформенс ишью, выборка длилась около 5 секунд, а когда убрали лукап внутри монги и делали популей уже полученой выборки (50 итемов), то с популейтом скорость стала 0.6 секунды

"но populate агрегированных данных - лучше $lookup" - странно, почему так то?

тип лукап работает на всех данных коллекций?

работает на всех, но когда ты делаешь популейт - он делает один запрос в базу - find({_id: {$in: [ids]}}) а lookup на каждый документ делал дополнительный запрос (до 4 версии точно, сейчас не изучал). Тем самым популейт разруливает тем, что потом в памяти связывает полученные объекты

Всем привет! Есть вопросы про шардинг. Имеется система учета статистики посещения сайтов и ее БД. Ожидается очень активный рост количества сайтов в системе, отсюда встал вопрос масштабирования заранее. Важное условие: все запросы к БД всегда выполняются по одному сайту. В данный момент id сайта имеет тип int, растет инкрементально. Насколько я понимаю, логично сделать shard key из id сайта или на его основе. Вопросы: 1. инкрементально растущий int в качестве shard key - допустимо или плохо? в принципе, есть возможность замапить его на guid например. 2. при добавлении нового шарда нагрузка отбалансируется автоматически? и к чему стремится баланс: к разделению диапазона shard key на равные диапазоны? или учитывается нагрузка на каждый шард и распределяется равномерно она? можно ли как-то влиять на процесс распределения (например указывать диапазон значений shard key для шарда)? Заранее извиняюсь, вопросы возможно очень нубские, поэтому буду рад даже если просто ткнете в ссылки/книги.

1. инкремент - оченб плохо, про это написано в доке по выборку ключа, если не будет вариантов, то монга поддерживает автохеширваоние без изменения самого типа ключа https://docs.mongodb.com/manual/core/sharding-shard-key/#monotonically-changing-shard-keys https://docs.mongodb.com/manual/core/hashed-sharding/ 2. да начнет балансирвоаться само, если собственно включен балансинг - его можно выключать как весь, так и для отдельных коллекций. баланс стремится только к равному количеству чанков, т.е. предполагается, что у вас все равномерно распределено по диапазонам и нет перкосов - это достаточн осерьезная пробелма если у вас данные очень неравномерны по наргрузке и может сложиться ситуация что все горячие данные на одном шарде. монга будет бить на чанки когда они достигнут одного из двух событий - размер выше порога либо количество доков выше опредленного порога. Но тут нужно понимать, что если чунк уже содержит один ключ и его нельяз разделить, то данный чанк будет помечен фагом jumbo и перестанет кудалибо перемещаться. Влиять на распределние можно - есть понятие зон https://docs.mongodb.com/manual/core/zone-sharding/, да и вообще можно ручками/скриптами перекидывать чанки между шардами - ест ьспец команды

Ребят, а можно применять этот способ без значений ключей в .project() ? db.collection.find({ 'cuisine' : 'Brazilian' }).project({ 'name' : 1, 'cuisine' : 1 }) Или какие есть альтернативные варианты найти объект в коллекции и взять из него только нужные ключи?

В проекции _id:0, countField:1 и дальше count на курсоре

Что значит без назначения ключей в project?

Да, project позволяет отфильтровать ключи. Значение ключа знать и не нужно, только имя ключа. 0/1 это флаг «скрыть»/«показать»

Или вы хотите скрыть все ключи, кроме конкретного?

Да, например, получить айди юзера, его линк и номер

https://docs.mongodb.com/v3.2/tutorial/project-fields-from-query-results/#return-the-specified-fields-and-the-id-field-only

¢: { "user": { "_id": "5bdjakfkdks", "title": "Hello World", "course": [ { "_id": "5bdjakdbhd", "name": "Lololo" } ] }} How to remove subdocument course id?

¢: { "user": { "_id": "5bdjakfkdks", "title": "Hello World", "course": [ { "_id": "5bdjakdbhd", "name": "Lololo" } ] }} How to remove subdocument course id?

Remove subdocument, u mean?

Delete object.user.course._id maybe?

Thanks

всем привет

У всех Линукс?

Буду рад, если у кого-то есть годный мануал, по интеграции MongoDB + mongodb (node) + express

Лучше изучите эти вещи по отдельности, и вам станет ясно как их связать. Проблема такого запроса в том, что Express — это про HTTP API, а mongodb — это про данные. В целом — это два разных слоя в приложении (модели и интерфейса). Модель данных должна описывать процессы приложения и их взаимодействие с данными (в т. ч. базой данных), а Express — это просто библиотека, на основе которой вы даете другим приложениям доступ к методам этих моделей Если очень хочется, то по express mongodb гуглится очень много, в т. ч. вот эта статья. Но рекомендовать ее вам, я не могу

Буду рад, если у кого-то есть годный мануал, по интеграции MongoDB + mongodb (node) + express

Книга есть на эту тему, называется "Стек MEAN". Mongo+Express+Angular+Nodejs

$elemMatch смотрю, кажется нашёл

https://docs.mongodb.com/manual/reference/operator/query/all/