Пробовал, время обработки увеличивается в полтора раза :(

В идеале, нужно сделать lookup, но получать не полные документы, а только их id

Их нужно использовать в дальнейшем

Зачем это всё?

В смысле какая практическая задача решается

Есть связанные сущности, необходимо рассчитать некоторые связи на уровне запросов, менять схему бд и саму бд строго запрещено. Есть упростить, то есть школы, и в каждой школе есть какое-то кол-во учеников, ученики постоянно переходят из одной школы в другую и данные о школе хранит ученик. Получая данные о школе необходимо получить кол-во учеников

Аггрегация используется потому что необходимо сортировать данные, например по кол-ву учеников

Либо по названию школы, где в названии могут использоваться символы разного регистра и хранить их уже приведенными и к одному регистру нельзя, это нужно делать каждый запрос. Вот так :(

Почему нельзя менять схему?

А какое количество учеников в базе?

Потому что это запрещено, бд неверно спроектирована, да и подобные кейсы больше ложатся на реляционные бд, но необходимо сделать вот так :( Кол-во учеников больше 300тысяч и постоянно растёт

Запрещено почему?

300к печально. Какой размер документа средний?

500кб,если не ошибаюсь, может немногим меньше.

500к на одного ученика?!

Сейчас скажу точнее

avgObjSize: 461

А. Так лучше. Итого 150 мегабайт.

Делать агрегации по коллекции учеников и не накапливать те атрибуты, которые позднее можно вытащить запросом (например список id учеников в школе)

Например если надо школы по количеству учеников сгруппировать и дальше сортировать, то нужно это делать с коллекцией учеников, а не школ.

Выбрать пару десятков школ по id — миллисекунды.

А если нужна выборка? Например нужно получить только школы у который имя директора содержит некоторую подстроку?

Включать в запрос агрегации исключение/вхождение по id школ

Школ несколько тысяч?

Школ не много, в десятки раз меньше чем учеников, но некоторые ученики могут быть без школы, но это не проблема

И их кол-во почти не растет

Т.е. сначала сделать запрос по нужным параметрам в коллекцию школ, получить id и включить их в агрегационный запрос к ученикам через in/nin

А вообще придти и обьяснить что дизайн надо менять.

Спасибо, это действительно выглядит логично

На это есть время, данные у вас медленные

А, есть ещё нюанс - пагинация, на первый запрос мы можем выдернуть вообще все id

А вернуть нужно всего 20-30

И что теперь

Если сортировка требует количества учеников, ваша схема не имеет другого решения.

На 150мб это не особая проблема

Проапгредить железо чтоб получить максимальный memory throughput

Спасибо за помощь :)

Как мне запушить в поле rating что-нибудь?

Экспорт не умеет в tsv? в доках не вижу

Как мне запушить в поле rating что-нибудь?

$push? если не ошибаюсь, то default: [] не нужен // извини, я на дату не глянул)

какой способ реализации пагинации самый быстрый? есть документы у которых 5+ полей, _id, name и т.д.

gte lte limit

Народ, у кого самые нормальные сервера можно арендовать в России?

И чтобы ещё была возможность пачку айпи купить не очень дорого

пока servers.com устраивает

пока servers.com устраивает

Были проблемы с отказом оборудования?

Если да, то быстро ли решали?

один раз их APC вышел из строя. в течении часа решили

Пачку айпи купить можно? Канал нормас?

Вижу, 97 рублей за штуку в месяц

Цены в России анальные, конечно...

это мягко сказано

Нет ? рублей в месяц?

12к за E3, 248гб ссд и 32гб рам это чё то дохера

Такой конфиг за бугром стоит 4-6к

180 евро, вполне сносно

если с хецнером или онлайн.нет не сравнивать

Ага, когда на овх цена 60

А чем плох онлайн и хетцнер

а, овх тоже можно к хецнеру и онлайну присунуть

это дискаунтеры. сравни с ценником ibm например

Но сервис то там сносный

смотря для чего

По крайней мере у овх

у овх с сетью всё как у всех

Дедик, паблик Клауд, поддержка

в любом случае это дискаунтеры

там за 12к скорее всего не самопал сдают, а какой-то вендорский сервак

Ну да, делл какой то

ну вот теперь сравни сколько делл на хецнере стоит

Самое главное чтобы поддержка нормальная была

Я наслушался стори про агаву

Которая хдд меняла неделю

И мне ссыкотно стало

у меня как раз хецнер и онлайн

единственно хецнер стал НДС с русских брать

Чтобы по 152 ФЗ не было вопросов, нужно будет хоститься в РФ, поэтому хетцнеры, онлайны и овх отпадают

Ребята, views MongoDB вы юзаете? Или это ненужная фича?

Кто знает, как можно в агрегировании задать группировку по интервалу в 5 минут, помогите пожалуйста? Никак не придумаю

Кто знает, как можно в агрегировании задать группировку по интервалу в 5 минут, помогите пожалуйста? Никак не придумаю

перефразируйте пожалуйста, не совсем понятно, что вы хотите сделать

Мне нужно считать среднее по заданному интервалу, если выбрать интервал в 1 час - получается, а мне надо задавать произвольно количество минут, к примеру 5, и считать среднее за каждый интервал

а в каком виде хранится дата, что за час получается а за 5 минут нет?

"created" : ISODate("2017-09-28T11:27:01.056Z")

Я в $project добавляю поле - 'hour': {'$hour': '$created'},

А 5 минут - опыта и ума не хватает

"interval": { "$subtract": [ { "$minute": "$created" }, { "$mod": [{ "$minute": "$created"}, 5] } ] }

Ne proveryal.

Ой, спасибо

камрады, подскажите, как тестируете работу с монго? я для тестов веб приложения просто подсовывают другое имя БД и всё ок, но надо удалять БД, как это вы делаете в своих тестах

У меня перед каждым тестом делается remove() на всех коллекциях и накатываются фикстуры

ремове... а как гарантируешь, что это делается на тестовой бд?

Ну и заново коннект происходит на каждый тест

на боевой настроена аутентификация?

Во время коннекта пишется в коннекшн путь -test + randomstring

С dev и test окружений нет доступа к проду

во, рандом стринг, это хорошая идея