Народ, запрос на добавление в массив поддокументов вместе со $slice -12890 будет сильно ресурсы жрать? Ожидается таких запросов около сотни последовательных раз в 10 минут

привет

подскажите как, например, посчитать сколько комментариев имеет каждый пост. например, у нас есть список айдишников постов, нужно получить количество комментариев каждого

Смотря как комментарии хранятся

в отдельной коллекции

в отдельной коллекции

Aggregation framework: в коллекции комментариев Match с in по массиву id постов group по id постов с sum: 1

спасибо

парни как взять первый элемент из группы?

db.grades.find().sort({student_id: 1, score: 1}) вот теперь из него нужно сгруппировать по полю student_id, и взять первый элемент

ребят, у кого-то была такая ошибка? com.mongodb.MongoTimeoutException: Timed out after 30000 ms while waiting for a server that matches ReadPreferenceServerSelector{readPreference=primary}. Client view of cluster state is {type=UNKNOWN, servers=[{address=127.0.0.1:27017, type=UNKNOWN, state=CONNECTING, exception={com.mongodb.MongoSocketReadTimeoutException: Timeout while receiving message}, caused by {java.net.SocketTimeoutException: Read timed out}}] Может подскажете, как решали...

авторизация вкл?

авторизация вкл?

нет. я решил проблему добавив в конфиг пару строчек: replication: replSetName: "rs0" net: bindIp: localhost,<IP>

db.grades.find().sort({student_id: 1, score: 1}) вот теперь из него нужно сгруппировать по полю student_id, и взять первый элемент

В Монго нет аналога first_value?(

Есть findOne

cursor.limit() не поможет?

С каждой группы по 1 элементу

А ваши варианты просто 1 элемент вернет

С каждой группы по 1 элементу

Facet?

https://docs.mongodb.com/manual/reference/operator/aggregation/facet/

делаю запроc db.grades.find({},{_id: 0}, {type: "homework", score: 1}).sort( { score: 1 } ).pretty(),но получаю не только homework значения ключа type, а и другие... что исправить, подскажите, пжл?

выводит такого плана { "student_id" : 191, "type" : "exam", "score" : 0.03425228241156208 } { "student_id" : 50, "type" : "homework", "score" : 0.1170101023771353 } { "student_id" : 13, "type" : "homework", "score" : 0.4838914493376478 } { "student_id" : 74, "type" : "homework", "score" : 0.494513588220491 } { "student_id" : 186, "type" : "exam", "score" : 0.6651311278067396 }

ты че проходишь курсы по монго?))

ты че проходишь курсы по монго?))

да)

делаю запроc db.grades.find({},{_id: 0}, {type: "homework", score: 1}).sort( { score: 1 } ).pretty(),но получаю не только homework значения ключа type, а и другие... что исправить, подскажите, пжл?

{_id:0, homework:1}

{_id:0, homework:1}

спасибо, а почему мой вариант не сработает?

если вынести в отдельные скобки, допустим?

посмотрите спеку на метод find

и что там значит 3 объект

Дак редис

?мастабирвоание - пока данные, перенос - пока данные, распределённость, вообще не существует

Всем привет, need help: db.documents.find({ "$or": [ {"$expr": {"$gt": ["$docDownloadDate", "$searchIndexSyncDate"]}}, {"searchIndexSyncDate": null}, ], "docProcessedSuccessfully": true, }).limit(10000) страшно тупит до 3-5 минут, индексы по docDownloadDate, searchIndexSyncDate, docProcessedSuccessfully есть Если отдельно запрашивать по $expr - работает быстро, если отдельно {"docProcessedSuccessfully": true}, тоже но когда вместе через $and тупит :( может кто-то сталкивался?

ну и вообще вопрос по $expr и сравнении двух полей одного докумнта: mongodb никак не хочет использовать для этого индексы, добавить partialindex на это выражение я так понял тоже нельзя...

если слишком нагло ворвался - плиз сильно не бейте :)

чтобы проверить факт использования индексов или их не использования нужно дернуть explain(executionStats) может улучшит понимание https://docs.mongodb.com/manual/reference/method/cursor.explain/#cursor.explain

ну и вообще вопрос по $expr и сравнении двух полей одного докумнта: mongodb никак не хочет использовать для этого индексы, добавить partialindex на это выражение я так понял тоже нельзя...

вообще то что вы ищете называется примерно Expression Indexes, такого в монге нет. Но вы можете самостоятельно вычилят ьи сохранят ьв документе результат а его уже индексирвоать

вообще то что вы ищете называется примерно Expression Indexes, такого в монге нет. Но вы можете самостоятельно вычилят ьи сохранят ьв документе результат а его уже индексирвоать

да, проблема в том что я каждые N дней должен делать upsert всех документов с новой датой, чтобы посчитать все нужно будет снова обходить каждый документ, а их 10+ миллионов...

вот это вот upsert какая вцелом логика? ну там обновление каталога товаров и проставление актальных данных

вот это вот upsert какая вцелом логика? ну там обновление каталога товаров и проставление актальных данных

все что нужно - обновить метаданные документов: у каждого есть дата последней публикации и ссылка на сам текст. По дате публикации я должен понять скачал ли я уже текст или нет, нужно ли мне обновить текст (если дата публикации старше даты скачивания) или нет

чтобы проверить факт использования индексов или их не использования нужно дернуть explain(executionStats) может улучшит понимание https://docs.mongodb.com/manual/reference/method/cursor.explain/#cursor.explain

говорит на inputStage индекс использует...

но "executionTimeMillis" : 117415,

закиньте в гист каконить

закиньте в гист каконить

https://gist.github.com/t4ec/61bc15db83f89b95ee1dea0f5e621aba

собственно проблема что у вас под docParsedSuccessfully=true попадает очень много доков, и монга собственно их все прочитывает

нужен простой способ исключать полностью обработанные доки из выборки

просто на данном этапе мне реально нужно получить почти все документы из базы...

но почему если убрать этот флаг монга быстрее работает?

чтото не заметно, из 2кк вас интересует лишь 10к

если я просто делаю запрос который внутри "$or" отрабатывается раз в 10 быстрее

а вополните второй запрос котоырй "быстрее" с эксплейном

и так же в гист

черт, я убрал индекс и использовал partial для теста, сейчас добавлю и проверю...

это не касается предыдущего результата, просто я добавить partial для docParsedSuccessfully=true, если его убрать из запроса идет COLLSCAN

походу тут полюбому лажа, т.к. $expr не умеет использовать индексы и нет возможности ограничить предварительно выборку, то проблемы не избежать

если это реально критично, то стоит пересмотреть структуру данных и добавлять флаг

а то что без второго условия отрабатывает быстрее, то это именно поулчение 10к доков или время до того как монга чтото ответит и выдаст курсор?

а то что без второго условия отрабатывает быстрее, то это именно поулчение 10к доков или время до того как монга чтото ответит и выдаст курсор?

до получения курсора, но я сейчас тестирую и что-то тоже туго, возможно я что-то напутал, тестировал еще утром

мда, печалька

я уверен что запрос без docParsedSuccessfully у вас просто возвращает курсор с частью данных, а полная выборка до момента, когда все прочтете из курсора будет сопоставима по времени как и с флагом

кстати

у вас в первом плане запроса пишет "nReturned" : 9480,

типа только чтолько доков найдено в результате

а можно как-то использовать bucket или что-то такое чтобы разбить базу на куски и по кусочкам разбирать? В принципе мне так и так нужно на 1 запрос не больше 10к доков

собственно если вы укажите например не 10к а 9к, то должно быть быстрее

точнее первыая выбокра будет быстрее, а вторая как и сейчас

просто limit?

да, попробуйте для эксперимента

а если обрезать скажем по docID (Int) - может ускорить? Скажем 0 <= docID <= 40000 и потом уже expr

ну и потом брать [40000, 80000], [80000, 120000]....

а можно как-то использовать bucket или что-то такое чтобы разбить базу на куски и по кусочкам разбирать? В принципе мне так и так нужно на 1 запрос не больше 10к доков

по сути перед тем как группировать на бакеты выполняется какойто матчинг, а уже дальше идет группировка. так что само время выборки будет такое же, но в результате да поулчите наборы по 10к

про диапазоны не скажу, надо в доки лезть про группировке

ок, спс

пойду фигачить :)

про диапазоны не скажу, надо в доки лезть про группировке

я вообще думаю не про aggregation pipeline, а просто делать find в котором одно из условий - 0 <= docID <= 40000 и потом уже expr через and

реальное ускорение кстати сможете получить, если добавите услвоие для docDownloadDate, например работаем с доками загруженными не раньше неделю назад

и если у вас не много дкоов обновляется (порядка как раз 10к из обещго объема в 2кк) то будет прирост

реальное ускорение кстати сможете получить, если добавите услвоие для docDownloadDate, например работаем с доками загруженными не раньше неделю назад

круто, попробую, правда пока тестирую тут все загружено в 1 день

в общем главное - сузить воронку перед expr?

именно

понял, большое спасибо за помощь

?мастабирвоание - пока данные, перенос - пока данные, распределённость, вообще не существует

а разве то что редис персистит нельзя перенести? если что я его не щупал, чет слышал

Вопрос, когда делаю insert в базу(js Mongodb Driver), нужно сделать auto increment поля, как это можно реализовать? Знаю при update можно $inc, но мне нужно при insert

И ещё вопрос, есть ли способ в агрегатке string в objectId перевести? Для lookup

Камрады, сегодня с 19.00 до 21.00 организуем стрим посвященный шардингу, попытаемся разобрать вопросы по выбору ключей, борьбе с монотонностью и если успеем, поднимем кластер на тестовой среде. https://youtu.be/JH3Pusw1aZg