Nickolay Ovdienko: Всем привет, у меня небольшая проблема, использую aggregation framework для препарирования и выборки данных, необходимо получать количество документов, у которых некое поле содержит id текущего документа. Был сделан lookup в соседнюю коллекцию, потом получали длину результирующего массива и выносили в поле, затем массив удаляли, на тестах при увеличении объёма данных документы становятся очень большими из-за этого массива и запрос падает, потому что превышаю лимит памяти на документ. Посоветуйте пожалуйста, что можно предпринять в сложившейся ситуации? Не очень хочется делать два запроса. Mongo 3.4

Пробовал, время обработки увеличивается в полтора раза :(

В идеале, нужно сделать lookup, но получать не полные документы, а только их id

Их нужно использовать в дальнейшем

Зачем это всё?

В смысле какая практическая задача решается

Есть связанные сущности, необходимо рассчитать некоторые связи на уровне запросов, менять схему бд и саму бд строго запрещено. Есть упростить, то есть школы, и в каждой школе есть какое-то кол-во учеников, ученики постоянно переходят из одной школы в другую и данные о школе хранит ученик. Получая данные о школе необходимо получить кол-во учеников

Аггрегация используется потому что необходимо сортировать данные, например по кол-ву учеников

Либо по названию школы, где в названии могут использоваться символы разного регистра и хранить их уже приведенными и к одному регистру нельзя, это нужно делать каждый запрос. Вот так :(

Почему нельзя менять схему?

А какое количество учеников в базе?

Потому что это запрещено, бд неверно спроектирована, да и подобные кейсы больше ложатся на реляционные бд, но необходимо сделать вот так :( Кол-во учеников больше 300тысяч и постоянно растёт

Запрещено почему?

300к печально. Какой размер документа средний?

500кб,если не ошибаюсь, может немногим меньше.

500к на одного ученика?!

Сейчас скажу точнее

avgObjSize: 461

А. Так лучше. Итого 150 мегабайт.

Делать агрегации по коллекции учеников и не накапливать те атрибуты, которые позднее можно вытащить запросом (например список id учеников в школе)

Например если надо школы по количеству учеников сгруппировать и дальше сортировать, то нужно это делать с коллекцией учеников, а не школ.

Выбрать пару десятков школ по id — миллисекунды.

А если нужна выборка? Например нужно получить только школы у который имя директора содержит некоторую подстроку?

Включать в запрос агрегации исключение/вхождение по id школ

Школ несколько тысяч?

Школ не много, в десятки раз меньше чем учеников, но некоторые ученики могут быть без школы, но это не проблема

И их кол-во почти не растет

Т.е. сначала сделать запрос по нужным параметрам в коллекцию школ, получить id и включить их в агрегационный запрос к ученикам через in/nin

А вообще придти и обьяснить что дизайн надо менять.

Спасибо, это действительно выглядит логично

На это есть время, данные у вас медленные

А, есть ещё нюанс - пагинация, на первый запрос мы можем выдернуть вообще все id

А вернуть нужно всего 20-30

И что теперь

Если сортировка требует количества учеников, ваша схема не имеет другого решения.

На 150мб это не особая проблема

Проапгредить железо чтоб получить максимальный memory throughput

Спасибо за помощь :)

Как мне запушить в поле rating что-нибудь?

Экспорт не умеет в tsv? в доках не вижу

Как мне запушить в поле rating что-нибудь?

$push? если не ошибаюсь, то default: [] не нужен // извини, я на дату не глянул)

какой способ реализации пагинации самый быстрый? есть документы у которых 5+ полей, _id, name и т.д.

gte lte limit

Народ, у кого самые нормальные сервера можно арендовать в России?

И чтобы ещё была возможность пачку айпи купить не очень дорого

пока servers.com устраивает

пока servers.com устраивает

Были проблемы с отказом оборудования?

Если да, то быстро ли решали?

один раз их APC вышел из строя. в течении часа решили

Пачку айпи купить можно? Канал нормас?

Вижу, 97 рублей за штуку в месяц

Цены в России анальные, конечно...

это мягко сказано

Нет 💯 рублей в месяц?

12к за E3, 248гб ссд и 32гб рам это чё то дохера

Такой конфиг за бугром стоит 4-6к

180 евро, вполне сносно

если с хецнером или онлайн.нет не сравнивать

Ага, когда на овх цена 60

А чем плох онлайн и хетцнер

а, овх тоже можно к хецнеру и онлайну присунуть

это дискаунтеры. сравни с ценником ibm например

Но сервис то там сносный

смотря для чего

По крайней мере у овх

у овх с сетью всё как у всех

Дедик, паблик Клауд, поддержка

в любом случае это дискаунтеры

там за 12к скорее всего не самопал сдают, а какой-то вендорский сервак

Ну да, делл какой то

ну вот теперь сравни сколько делл на хецнере стоит

Самое главное чтобы поддержка нормальная была

Я наслушался стори про агаву

Которая хдд меняла неделю

И мне ссыкотно стало

у меня как раз хецнер и онлайн

единственно хецнер стал НДС с русских брать

Чтобы по 152 ФЗ не было вопросов, нужно будет хоститься в РФ, поэтому хетцнеры, онлайны и овх отпадают

Ребята, views MongoDB вы юзаете? Или это ненужная фича?