кстати

у вас в первом плане запроса пишет "nReturned" : 9480,

типа только чтолько доков найдено в результате

а можно как-то использовать bucket или что-то такое чтобы разбить базу на куски и по кусочкам разбирать? В принципе мне так и так нужно на 1 запрос не больше 10к доков

собственно если вы укажите например не 10к а 9к, то должно быть быстрее

точнее первыая выбокра будет быстрее, а вторая как и сейчас

просто limit?

да, попробуйте для эксперимента

а если обрезать скажем по docID (Int) - может ускорить? Скажем 0 <= docID <= 40000 и потом уже expr

ну и потом брать [40000, 80000], [80000, 120000]....

а можно как-то использовать bucket или что-то такое чтобы разбить базу на куски и по кусочкам разбирать? В принципе мне так и так нужно на 1 запрос не больше 10к доков

по сути перед тем как группировать на бакеты выполняется какойто матчинг, а уже дальше идет группировка. так что само время выборки будет такое же, но в результате да поулчите наборы по 10к

про диапазоны не скажу, надо в доки лезть про группировке

ок, спс

пойду фигачить :)

про диапазоны не скажу, надо в доки лезть про группировке

я вообще думаю не про aggregation pipeline, а просто делать find в котором одно из условий - 0 <= docID <= 40000 и потом уже expr через and

реальное ускорение кстати сможете получить, если добавите услвоие для docDownloadDate, например работаем с доками загруженными не раньше неделю назад

и если у вас не много дкоов обновляется (порядка как раз 10к из обещго объема в 2кк) то будет прирост

реальное ускорение кстати сможете получить, если добавите услвоие для docDownloadDate, например работаем с доками загруженными не раньше неделю назад

круто, попробую, правда пока тестирую тут все загружено в 1 день

в общем главное - сузить воронку перед expr?

именно

понял, большое спасибо за помощь

😂мастабирвоание - пока данные, перенос - пока данные, распределённость, вообще не существует

а разве то что редис персистит нельзя перенести? если что я его не щупал, чет слышал

Вопрос, когда делаю insert в базу(js Mongodb Driver), нужно сделать auto increment поля, как это можно реализовать? Знаю при update можно $inc, но мне нужно при insert

И ещё вопрос, есть ли способ в агрегатке string в objectId перевести? Для lookup

Камрады, сегодня с 19.00 до 21.00 организуем стрим посвященный шардингу, попытаемся разобрать вопросы по выбору ключей, борьбе с монотонностью и если успеем, поднимем кластер на тестовой среде. https://youtu.be/JH3Pusw1aZg

Вопрос, когда делаю insert в базу(js Mongodb Driver), нужно сделать auto increment поля, как это можно реализовать? Знаю при update можно $inc, но мне нужно при insert

Зачем вам именно автоинкремент? Чтобы его сделать в монге это будет немного болезненно

Мне очень надо было. Я сделал запрос на count, потом плюсовал и писал.

Но если документы могут удалятся, етот вариант не подойдет

И данных у меня было немного, лишний запрос был не критический

так а зачем вам автоинкремент? какую задачу с его помощью хотите решить?

Это для юзеров, которые будут делать import, ObjectId не красивый идентификатор

тут трейдофф - красиво и геморно против функционально и безболезненно. в общем случае честные автоинкрент треубет создания отдельной коллекции с единственным документом и единственным полем currentId. Собственно использовать findAndModify с $inc для увеличения счетчика

коллекцию со счетчиками завести

там файн и апдейт метод есть

или модифи

коллекцию со счетчиками завести

коллекция счетчиков? это где таую абстракцию добавили?

не понял вопроса

я чтото не видел в монге коллеции счетчиков

это стандартное решение из документации

ссылочку если не затруднит

обычная коллекция с именем counters или на свое усмотренип где_id имя другой коллекции а counter поле которое будет инкрементировать при каждом обращении к нему

я тож самое написал что и у тебя в ответе просто не читал что ты писал

в ормках аутоинкремент так же реализуется

например в mongoengine

собственно как и ожидалось, ни по автоинкремент ни по сиквенсу в стандартной доке чтото не нашлось. так что не стоит вводить человека в зпблуждение чтобы он начал использовать какуюто коллекцию счетчиков. их нужно либо вручную реализовывать, либо искать что может одм

Мне очень надо было. Я сделал запрос на count, потом плюсовал и писал.

Это неверный способ.

Это для юзеров, которые будут делать import, ObjectId не красивый идентификатор

Красивость волнует только разработчиков и не является технической проблемой. Будет усложнением без причины

Коллекция со счетчиками является наиболее вменяемым решением этой проблемы. Но нужно учитывать что работать это будет только через update(inc: ). find в коллекцию будет только «примерным» последним номером и его можно использовать только в информационных целях

Но как следствие использование автоинкремента будет всегда требовать чтения и записи.

И надо понимать что гарантия будет только в том, что следующий номер будет больше предыдущего. На сколько больше: не известно. Получить непрерывное множество будет очень сложно

Ребят, какие есть best practise для совершения последовательно/одновременно нескольких запросов к монге на NodeJS? у меня получается пирамидка из callback'ов и это не есть гуд.

promise

для паралельного запуска несколько есть метод promise.all

подскажите пожалуйста бесплатное облако с монгой. несколько сот тысяч записей в сутки. небольших текстовых

облачный сервис нужен

бесплатный при нагрузках в таких пределах

ничего не понял. можете дать ссылку типа хероку или firebase

чтобы мой скрипт на хероку мог туда записывать данные свои

во другое дело

а скажите

если обычную табличную бд взять то там записываются только данные. ну например количество просмотров столбец и дальше просто числа

а тут он в каждой записи будет много лишнего записывать или что

просто скрипт пока в текст пишет. и выходит несколько сот мегабайт в месяц где-то

ну он пишет со всеми данными. типа число просмотров: 5. потом через час число просмотров: 9. и тд

а в таблице бы просто числа шли

а тут как? тоже забьется быстро?

ладно буду пробовать а там видно будет

Доброе утро. Скажите пожалуйста, по своему опыту, использовать MapReduce хорошо или плохо? Просто написал код, а опыта в монге нету. Меня сейчас обвиняют, что приложение из-за MapReduce подвешивает базу(без аргументов, просто типа это плохо), хотя на сколько я понимаю, MapReduce это отличный инструмент распределенного Stateless вычисления. К тому же выборки минимальные.

по ситуации же)

по ситуации же)

Можно конкретные примеры?

Так подвешивает или просто обвиняют?)

Так подвешивает или просто обвиняют?)

Причина окончательно не установлена, просто обвиняют mapreduce и просят от него избавиться. Хотя на клиенте считать я уверен будет медленнее. Поэтому и задал вопрос, неужели mapreduce имеет такую плохую репутацию? Или это просто наброс на вентилятор был? :)

всё зависит от того какие запросы в мапредьюсе же и на каких серверах это крутится, мб там всё из говна и палок собрано и адовые запросы. Ну надо тоже какую то конкретику

Если сами запросы мимо индексов, точно будет медленно. Остальное по ситуации.

было бы интересно посмотреть на пример, заодно можно попросить админов построить план запросов

и в чём вообще обвиняют? проц\рам\ио?

Помню кто-то ругал на какой-то конфе монговский map reduce, возможно ноги от туда. Но это не значит, что его нельзя юзать.

Причина окончательно не установлена, просто обвиняют mapreduce и просят от него избавиться. Хотя на клиенте считать я уверен будет медленнее. Поэтому и задал вопрос, неужели mapreduce имеет такую плохую репутацию? Или это просто наброс на вентилятор был? :)

Да, имеет

За ряд архитектурных особенностей

Если mr с out в коллекцию, то в шардированном кластере могут быть проблемы, особенно если они очень частые