Ребят, подскажите, пожалуйста, на show dbs ничего выводит, хотя базы есть - почему так может быть? Подключаюсь из-под рутовской системной учетки просто через команду mongo (пользователь и пароль неизвестны). Хотелось бы обойтись как-то без сброса пароля. Просто непонятно mongo вообще что делает и в качестве кого подключает? Версия 4.5.6.

зачем вы об этом думаете и какую пробелму решаете?

Думаю, какого типа данных и какого размера создать поле, integer/String. Это своего рода уникальный идентификатор объекта в проекте. И будет ли это вообще влиять на скорость поиска документа. Думаю об этом, т.к. это будет самый частый запрос к бд в проекте

это повлияет только на размер индекса и требования RAM чтобы туда влезало. Но в общем случае об этом нет смысла думать, т.к. влияние проявляться начнет скорее всего к десятку-сотне млн доков. Вот там уже по факту надо будет решать проблема ли это и надо ли ее решать. А сейчас потратьте время на написание кода

Добрый вечер, подскажите как в массив добавить к каждому элементу уникальный ObjectId, если массив уже существует, но без айдих

в массивы внутри каждого дока просто нагенерить идшники?

Добрый вечер, подскажите как в массив добавить к каждому элементу уникальный ObjectId, если массив уже существует, но без айдих

db.getCollection('foobar').updateMany({}, [ { "$set": { "array": { "$function": { "body": "function (array) {return array.map( item => { item[\"_id\"]??= new ObjectId(); return item; })}", "args": [ "$array" ], "lang": "js" } } } }])

Добрый вечер. Подскажите, пожалуйста, почему сайт не работает? Конкретно когда войти хочешь

Всем привет! Я понимаю, что группа технологическая, но может кто подскажет группу или место, где можно найти Ваших коллег, которые в поиске новых возможностей / работы? Mongo не так распространена, как реляционки (в РБ по крайней мере), но все-таки

какой сайт?

Mongodb

Mongodb.com

Добрый день, может кто сможет подсказать в чём проблема Нода имеет одно подключение к монге Роут, который тестирую не делает ничего кроме запроса в бд При нагрузке на роут 1000 подключениями коннекшн к бд начинает сильно запаздывать Задержка цикла событий небольшая, ~30мс Задержка ответа на запрос уже 1300мс Как я понимаю, пул соединений полностью забит и новые запросы просто в ожидании освобождения сокета из-за чего и появляется такая большая задержка Никакие настройки PoolSize не исправили ситуацию Запрос не самый простой, с .populate() по id, коллекция индексирована

Смотрю, ответа толкового так и не дали? У меня та же проблема, использую пулл, при более 350 единовременных запросов, задержка резко увеличивается с 12 мс до 4560 мс По профилю нагрузки видно, что процесс начинает складывать запросы в очередь. Думаю начать копать в сторону пулл сайза, так как в логи постоянно плюётся варнингом на счёт топологии, но это относится к условию - несколько процессов использует 1 подключение, странно, потому что у меня коннекшон_пулл, каждый запрос берёт из пула коннект и его юзает. Заранее отвечаю на вопросы типа: "а может что-то настроено неверно или запросы тяжёлые, нет индексов, нет чёрта лысого и др." - нет. При изменении маршрута и функций таким образом, что бы запросы в базу не шли, задержка возрастает с 140 мс до 370 при 1000 иммитации 1000 юзеров и 2700 рпс. Нагрузку даю с помощью locust.

подскажите как исправить?

Привет всем! Можно выполнить lookup только при условие, что $user_id равно 444 ? Данный пример всегда возвращает null, но запрос все равно выполняется и соответственно на него тратится время. Как вообще не выполнять запрос если $user_id не равно 444? { $lookup: { from: 'chats_user', let: { chatID: { $cond: { if: { $eq: ['$user_id', 444] }, then: '$chat_id', else: null }}, msgID: '$msg_id', userID: '$user_id' }, pipeline: [ { $match: { $expr: { $and: [{ $eq: ['$chat_id', '$$chatID'] }, { $ne: ['$user_id', '$$userID'] }, { $gte: ['$read_msg_id', '$$msgID'] }] } } }, { $limit: 1 }, { $project: { _id: 1 } }, ], as: 'dbRead', }, }, { $set: { 'dbRead': { $gt: [{ $size: '$dbRead' }, 0] } } },

Решить что не выполнять запрос вообще можно только на уровне кода собственно перед его выполнением. Может опишите ситуацию поподробнее в чем проблема?

Понимаю. Да, могу описать. Есть коллекция (message_list) сообщений с полями: msg_id, msg_local_id, chat_id, reply_id, user_id, msg_text, msg_del_time, msg_edit_time, msg_time. Есть коллекция (chats_user) чатов пользователе с полями: user_id, chat_id, join_time, leave_time, chat_read_time, read_msg_id, chat_sound. Выполняю агрегацию коллекции (message_list), там добавляются некоторые данные. Но так же мне нужно добавить к каждому документу сообщения (у которого user_id будет равно моему id, т.е. только для своих сообщений) поле read, значение которого будет 0 или 1. Для этого мне нужно получить из таблицы (chats_user) документ с максимальным полем read_msg_id и если msg_id текущего сообщения меньше read_msg_id, то read принимает значение 1, в иных случаях 0. Можно сделать отдельным запросом получение документа с максимальным read_msg_id из коллекции (chats_user), а потом просто сравнивать в $project агрегации. Но я хотел бы включить этот запрос внутрь агрегации.

Я пришёл к выводу, что я сам себе дал нереальные ограничения для теста Нужно понимать, что в реальном юзкейсе 1000 человек одномоментно не постучится на роут, а даже если такой волшебный кейс случится, то это не постоянная нагрузка, и такую ситуацию, пусть и с задержкой, сервер разрулит Тем более в продашкне будет развёрнуто несколько копий ноды + nginx в качестве балансировщика, и у каждой копии будет свой коннекшн к бд Я бы не советовал сильно увеличивать пулсайз, умные ребята из других чатов сказали, что так лучше не делать и может быть плохо) Если один конкретный маршрут делает тяжелые запросы, можешь реализовать несколько коннекшнов и на конкретные тяжелые запросы использовать отдельный коннекшн, чтобы лёгкие запросы не вставали в очередь за тяжёлыми

так а проблема то в чем? запрос вроде есть

Проблема в том, что отдельный запрос выполняется за 2-3 ms. const read_id = await db.ChatsUser.findOne({ chat_id: chat_id, user_id: { $ne: socket.user.user_id } }, { _id: 0, read_msg_id: 1} ,{ sort: { read_msg_id: -1 } }) А внутри агрегации он добавляет около 20-30 ms ко времени запроса const dbChatMessages = await db.Messages.aggregate([ //Получить список сообщений { $match: { chat_id: chat_id, msg_del_time: 0, } }, // ================================================================================ // Добавляем информацию о статусе сообщения [прочитано хоть раз или нет] // ================================================================================ { $lookup: { from: 'chats_user', let: { chatID: { $cond: { if: { $eq: ['$user_id', socket.user.user_id] }, then: '$chat_id', else: null }}, //Если user_id !== socket.user.user_id, то не выполнять поиск msgID: '$msg_id', userID: '$user_id' }, pipeline: [ { $match: { $expr: { $and: [{ $eq: ['$chat_id', '$$chatID'] }, { $ne: ['$user_id', '$$userID'] }, { $gte: ['$read_msg_id', '$$msgID'] }] } } }, { $limit: 1 }, { $project: { _id: 1 } }, ], as: 'dbRead', }, }, { $set: { 'dbRead': { $cond: { if: { $gt: [{ $size: '$dbRead' }, 0] }, then: 1, else: 0 } } } }, //Объединяем данные { $project: { _id: 0, msg_id: 1, msg_local_id: 1, chat_id: 1, reply_id: 1, user_id: 1, user_ip: 1, msg_text: 1, msg_del_time: 1, msg_edit_time: 1, msg_time: 1, read: { $ifNull: ['$dbRead', null] }, //read: { $cond: [ { $ne: ["$user_id", socket.user.user_id] }, "$dbRead", false ] } } }, { $sort : { 'msg_id' : 1 } }, //Сортировать выбранный результат ]);

так, а 20-30мс это проблема?

Я думаю когда речь идет о разнице в десятки раз, то да. Если запрос можно выполнить за 3 ms, зачем его выполнять за 30

В любом случае когда я выполняю запрос вне агрегации он выполняется гораздо быстрее. Нельзя его просто засунуть в агрегации без увеличение времени?) const read_id = await db.ChatsUser.findOne({ chat_id: chat_id, user_id: { $ne: socket.user.user_id } }, { _id: 0, read_msg_id: 1} ,{ sort: { read_msg_id: -1 } }) .then(u => u.read_msg_id).catch(error => { console.error(error); return 0; }); const dbChatMessages = await db.Messages.aggregate([ { $match: { chat_id: chat_id, msg_del_time: 0, } }, { $project: { _id: 0, msg_id: 1, msg_local_id: 1, chat_id: 1, reply_id: 1, user_id: 1, user_ip: 1, msg_text: 1, msg_del_time: 1, msg_edit_time: 1, msg_time: 1, reply_message: { $ifNull: ['$dbReplyMessage', null] }, read: { $cond: { if: { $lt: ["$msg_id", read_id] }, then: 1, else: 0 } } } }, ]);

вы же понимаете что лукап выполняется для всех найденных документов в первом этапе? там только один док?

Да. Отсюда и был вопрос, как пропустить лукап для части документов. Но потом меня осенило, что лукап нужно выполнить вообще только один раз в запросе.

он всегда выполняется для всех документов. Не хотите чтобы он выполнянлся - исключить ненужные документы из выборки. Например разбейте выборку и потом через $unionWith соберите

Но тут опять же вопрос, зачем выполнять lookup для документов у которых reply_id равен 0.. Лишняя трата ресурсов и времени.

Добрый день! Хочу сделать группировку по полю investigationtype и вернуть count для него. С предфильтрацией по startdate, enddate. почему-то всегда получаю пустой результат. где ошибся? [ { $match: { $and: [{ startdate: { $lte: new Date("2023-11-23") } }, { enddate: { $gt: new Date("2023-11-23") } }], }, }, { $group: { _id: "$investigationtype", total: { $sum: 1, }, }, }, ];

$gte чтобы включить нижнюю границу

Имею такое: db.collection.aggregate([ { $match: { startdate: { $lte: "2023-11-23" }, enddate: { $gte: "2023-11-23" } } }, { $group: { _id: "$investigationtype", totals: { $push: { _id: "$_id", total: 1 } } } }, { $project: { _id: 0, investigationtype: "$_id", totals: 1 } } ]) получаю это: [ { "_id": "AS", "totals": [ { "_id": ObjectId("5a934e000102030405000000"), "total": 1 }, { "_id": ObjectId("5a934e000102030405000001"), "total": 1 } ] }, { "_id": "AD", "totals": [ { "_id": ObjectId("5a934e000102030405000002"), "total": 1 } ] } ] можно ли как-то вернуть просто ["AS": 1, "AD": 2]?

не стоит, лучше вытащите и в коде уже преобразуйте к нужному виду из _id: AS, count: 2

там порядка 40 тыс записей. поэтому хочется на стороне монги сделать

хотелось бы через агрегацию

если сильно охота то есть такое https://www.mongodb.com/docs/manual/reference/operator/aggregation/setField/

вот так получилось: db.collection.aggregate([ { $match: { startdate: { $lte: "2023-11-23" }, enddate: { $gte: "2023-11-23" } } }, { "$group": { _id: "$investigationtype", count: { $sum: 1 } } } ])

но тут же не связки [{AS:2}, {AD:1}]

да. но тоже устроит. а можно ли сделать группировку двойню? как два подзапроса. Один по активным заявкам второй по завершенным. Разница только в условиях lte, gte? const request = [ { $match: { startdate: { $gte: _curentdate, }, enddate: { $gte: _curentdate, }, }, }, { $group: { _id: "$investigationtype", count: { $sum: 1, }, }, }, ];

у меня нет понимания какие критерии определяют активность заявки

1. активная если дата startdate в записи >=currentdate && endate <= currentdate 2. все наоборот

а почему не статусы?

нет проблем перезаложить

эффективные запросы без эффективной структуры и адекватных бизнес критериев невозможны

Здравствуйте что не так делаю const allProducts = await Product.find({}); const product1Arrays = allProducts.map(product => product.product1) console.log(product1Arrays[3]); мне нужно что бы он вернул только type в массиве