Как думаете если я внутри lookup агрегации добавляю pipeline с $project, ускорит ли это работу или сделает хуже?

зачем интуиция, когда есть дока?

Как думаете если я внутри lookup агрегации добавляю pipeline с $project, ускорит ли это работу или сделает хуже?

Не находил там по этому поводу ничего

по сути как и в обычном пайплайне - в некоторых случаях project снижает объем памяти для последущих итераций и дает ускорение, в некоторых бесполезно добавляет лишний стейдж и замедляет работу, в некоторых планировщик просто его выкидывает изза оптимизаций - какой случай у вас выстрелит покажет только тестирваоине на ваших данных и на ожидаемых объемах (то что ускоряет на 10к начинает замедлять на 10кк и наоборот) берем в руки explain и смотрим что будет

Походу тут только пробовать и анализировать

ух, 0.1 секунда как же по разному может быть интерпретирована) для когото лишние 10мс уже катастрофа))

Есть база данных 250Гб, переодически сервер по CPU вываливает в 100%, в основном когда идут операции insert и/или update когда нет операция CPU ~30% Document Query Executor ~ 1,5 Mil Document Operation ~60K В какую сторону смотреть шардирование или кластер с разнесением write/read операции?

Есть база данных 250Гб, переодически сервер по CPU вываливает в 100%, в основном когда идут операции insert и/или update когда нет операция CPU ~30% Document Query Executor ~ 1,5 Mil Document Operation ~60K В какую сторону смотреть шардирование или кластер с разнесением write/read операции?

Посмотрите на профили запросов, возможно где-то мимо индекса запросы на update Если у вас под монгой nvme, то посмотрите утилизацию полосы, если она не полностью используется, то посмотрите хватает ли read/write tickets

Привет всем! Можно ли как - то вытащить пароль от юзера в mongo?

хватает ли read/write. Да! по профилю запросов посмотрю, хорошая идея

Я по их гайдам оптимизацию делал, вообще самые толковые ребята!

посчитай относительно возможностей железа и операций/сек при операциях в среднем, от сюда установишь - разносить или шарды

Средняя загрузке по железу 40%, в нормальном режиме всего хватает с большим запасом, возможно вариант программно затормозить update и insert, но выглядит очень колхозом...

Средняя загрузке по железу 40%, в нормальном режиме всего хватает с большим запасом, возможно вариант программно затормозить update и insert, но выглядит очень колхозом...

Они взначительной степени оптимизированы под запись

Есть база данных 250Гб, переодически сервер по CPU вываливает в 100%, в основном когда идут операции insert и/или update когда нет операция CPU ~30% Document Query Executor ~ 1,5 Mil Document Operation ~60K В какую сторону смотреть шардирование или кластер с разнесением write/read операции?

Много cpu потребляет компрессия.

Много cpu потребляет компрессия.

Возможно, потому, как видим некий отложенный эффект при массовом заполнении данных. По какой метрике можно посмотреть, сколько потребляет компрессия данных?

компрессия тупит из-за объема данных передаваемых по сети?

Тут вам не подскажу. Я разбирал компрессию в разрезе дискового пространства. У меня базы по 4-8 Тб

Какое значение сжатия по умолчанию?

https://www.google.com/search?q=default+compression+mongodb

Нашел вот что: storage.wiredTiger.engineConfig.zstdCompressionLevel Type: integer Default: 6 Specifies the level of compression applied when using the zstd compressor. Values can range from 1 to 22. The higher the specified value for zstdCompressionLevel the higher the compression which is applied. Only applicable when blockCompressor is set to zstd. Available starting in MongoDB 5.0

Зеркало Зеркало repo.mongodb.org доступное из СНГ не доступно. Кто-нибудь знает другие зеркала?

всем привет, у меня такой кейс, надо внутри коллекции анкет у каждой анкеты хранить пользователей которые её просмотрели чтобы соответственно пользователям дубликаты не совать, этот массив обещает быть громадным, скажите - это не кейс для NoSQL, когда есть такого вида сложный поиск?

всем привет, у меня такой кейс, надо внутри коллекции анкет у каждой анкеты хранить пользователей которые её просмотрели чтобы соответственно пользователям дубликаты не совать, этот массив обещает быть громадным, скажите - это не кейс для NoSQL, когда есть такого вида сложный поиск?

Как вариант можете сделать отдельной коллекцией. Один документ это один уникальный просмотр. в документе будут поля Id документа, id пользователя, id анкеты. Раз вам нужно не показывать дубликаты, то и индексы так проще будет построить. Ну и в ограничение 16мб на документ не упрётесь

Насколько громадный? Размер документа не может быть больше 16мб. А так addToSet вам сможет помочь, при добавлении в массив, что бы не было дубликатов

не думаю шо такое можно в монге сделать

Как вариант можете сделать отдельной коллекцией. Один документ это один уникальный просмотр. в документе будут поля Id документа, id пользователя, id анкеты. Раз вам нужно не показывать дубликаты, то и индексы так проще будет построить. Ну и в ограничение 16мб на документ не упрётесь

так в таком случае надо будет делать иннер джоин(в монге?). При итерации по коллекции профилей надо будет идти в коллекцию просмотров и смотреть не просматривал ли этот пользователь этот профиль

Посмотрите на профили запросов, возможно где-то мимо индекса запросы на update Если у вас под монгой nvme, то посмотрите утилизацию полосы, если она не полностью используется, то посмотрите хватает ли read/write tickets

Всем привет, подскажите, может кто-то знает. Я пытаюсь отфильтровать объявления, но использую .populate() для нескольких полей. Когда делаю .filter(), то он фильтрует, но только по тем свойствам, которые были изначально, в те, которые я «раскрываю», он не заглядывает (пр. я не могу вызвать ‘fiat.symbol’ так как изначально там только ссылка). Есть какой-то способ применить фильтры, только после .populate()? Буду очень благодарен за помощь!

т.е. в поле fiat ссылка (id) на док в другой коллекции и вам надо свериться со значением с полем symbol там?

да, везде пишут, что можно match добавить в populate, но это только если одно поле. Я хочу условно сначала получить ответ со всеми ‘раскрытыми полями’, а потом отфильтровать.

Всем привет, ребята. Такой вопрос: Я хочу добавить одно значение в кортеж из MongoDB. Ключ — это query, а переменная - position должна быть добавлена как consumer в кортеж со следующим кодом: MongoCollection<Document> collection = ... Bson filter = Filters.eq("query", queryName); Bson update = Updates.addToSet("consumer", position); collection.findOneAndUpdate(filter, update); Однако, в базе данных, выглядит так, что список «consumer»: [NumberLong(88760)] был вставлен, а не одно значение, как показано в поле producer: { "_id" : ObjectId(...), "query" : "1000", "consumer" : [ NumberLong(88760) ], "producer" : NumberLong(88760) } При использовании Update.push() тот же результат. В связи с чем вопрос: как можно добавить только одно значение, не имея его в виде списка? .set() вместо .addToSet() или есть ещё варианты? Заранее благодарю за любую дельную информацию по данному вопросу.

Добрый день. Вопрос, безусловно, может показаться тупым, но гугл и чтение документации пока ни к чему не привёл. Прошу оказать консультацию или даже ткнуть носом в ссылку. Буду благодарен. Пишу небольшой микросервис на Go (вряд ли это важно). Одна из функций подключается к AWS DocumentDB с TLS, подключается к нужной БД, создает документ в коллекции (JSON в BSON по сути) и возвращает ObjectID. В общем-то простой функционал, но по времени это занимает примерно 2.5-4 секунды. Подскажите, пожалуйста, где могут быть у меня слабые места? Чего могу не учесть? Куда смотреть, чего читать? Заранее спасибо.