Full scan — это плохо. Делайте индексы

ну так надо все данные работать например

а что с этими данными происходит потом?

допустим 2М подписчиков, им все надо отправить письмо/сообщение

очередь на go реализована

задача не критичная, можно забить

от в постгресе select "по всем" это медленно

или по некторым, но которых много , тоже медленно, индексы есть на полях, которые в условии выборки

вот попробовать монго хочу, но вроде не до конца понимаю решит ли это проблему

насколько я это вижу, если курсор в ответе, это же не занчит что весть массив данных в ответе?

да, это просто курсор и по запросу драйвер будет запрашивать данные, но это нужно проверять ваш драйвер, может быть конкретно в вашем чтото другое сделано будет

да, я это так и представляю, курсор -> next что то типа такого

а как монго работает с такими запросами по многомиллионной коллекции? то есть если результат десятки миллионов документов?

это тоже медленно? конечно можно протестить, но все таки)

сложно работает, суть в том что при низкой селективности запроса (читай как возвращается больше 10% записей из коллекции) монга может решить не исользовать индекс и проходит ьпо всей коллекции. Единственный выход это нормальные запросы и нормальные инедксы по ним, но если постгра вам не помогает, то либо все плохо на ваших данных, либо вы не умеете готовит ьи в монге будет тоже самое. Еще можнон посмотрет ьв сторону покрывающих индексов

пр оселективность это относится вообще ко всем базам

чуть раскрою пример, есть подписчики, у подписчиков есть поле страна, нужно выбрать подписчиков из n стран, на поле страна есть индекс, кода таблица в посгресе менее 1-2М это работает нормально, когда больше, это просто по 40-50 сек на селект

а еще подписчики могут быть не уникальными, у них есть хеш по ip+ua и если еще distinct сделать, то вообще все ложится камнем

про больше 10% из коллекции я понял

а что, если нужно 90% докуменов из коллеции, это низакая селективность?

высокая селективность - результат запроса одна запись 90% - это не то что низкая, это никакая селективность

проще все вычитать

пардон, а как работать с данными то со всеми( или с большинством)в разумные сроки, что то я уже запутался)

в постгрес пока сделал limit/offset в разных потоках, как то работает, но не нравится как

как в монге работать по всей (большой) коллекции, например, какой-то есть кейс православный?)

никакой, вам нужны все данные, вы вытаскиваете все данные, это чтение с дисков, ускоряйте чтение, ssd там или вообещ инмемори

при чем два разных инстанчса приложения могут пойти по всейц базе, и даже не два, а 10

при чем два разных инстанчса приложения могут пойти по всейц базе, и даже не два, а 10

а вот это пробелма архитектуры

а вот это пробелма архитектуры

почему? они выполняют разные здания, на одной базе

видимо ен разные, раз им нужны те же данные в таком же объеме

данные не изменяются, инстансы делают разные рассылки по одной базе , параллельно\

а какой вариант есть, чтоб не получать все данные?

если нужно отправить сообщения всем

никакой, вам нужны все данные

если вы разбираетесь, скажите плиз, как будет проходить процесс выборки "всех" данных, например если я ограничю пул резултатов n числом

то есть курсор будет блокироваться, пока очередь полна, и по идее это не должно io напрягать сильно7

по мере разбора очереди, курсор будет дополнять очередь, как то так)

тогда чем отличается в вашем случае получение данных из курсора от получения данных из очереди? это же одно и то же

а в чем пробелма вообще?

проблема в скорости select в постгрес(

даже с offset/limit

ghb ,jkmijq ,fpt

при большой базе

У вас задача простейшая. Просто сделайте полный селект, потом выбирайте из курсора по одному документу и шлите, если страна подходящая. БД в вашем случае не может быть бутылочным горлышком. Если производительность не достаточная, ускоряйте бакенд (диски)

Так вот в постгресе то не так

Попробуйте в https://atlas.mongodb.org засунуть свои данные. Там бесплатно

Липнет все на селекте

Ждёт по 40 сек

Ssd, оперативная на уровне

Вот моего протестирую, отпишу, пока просто спросил)

Вот моего протестирую, отпишу, пока просто спросил)

Монго

Ждёт по 40 сек

советую сгонят ьв чат постгры и сразу скульники им закинуть, может что дельное посоветуют

ок, ок, но все таки, вот я делаю find() с условием, что присходит? я получаю курсор, и когда по нему прохожу, как это происходит внутри7 есть какая-то статья может?

ссылочками не помогу, в общем случае можно почитать внешне https://docs.mongodb.com/manual/reference/method/db.collection.find/#behavior

остальное сырцы

как можно получить простой обьект с данными а не инстанс модели, данные есть в поле _doc. Из поля _doc прямо можно брать?

а нашел выход toJSON() применил к результату выборки

а нашел выход toJSON() применил к результату выборки

.lean() при выборке, только ты уже не сможешь вызывать методы монгуса на этом документе

парни, есть коллекция с question филдом, есть на фронте строка поиска по этим questions. Поиск по $text индексу (а-ля фаззи). Но, кроме этого псевдо-фаззи результата надо вернуть и остаток "вопросов", а это уже второй запрос. Осотрировать всю эту хрень надо по score от $text сёрча. Далее уже склеиваем два массива с перехлестом. Вопрос: можно ли это в одном запросе сделать?

в монге сть скор?

в монге сть скор?

а то

baseQuery.query.$select = { score: { $meta: 'textScore' } },

Доброго времени суток, народ подскажите пожалуйста использую mongoose, никак не могу понять, как сделать правильно. У меня есть массив объектов, собираемый на стороне, мне по полю id нужно найти в mongo запись, если ее нет, то добавить. Вот так не робит

Доброго времени суток, народ подскажите пожалуйста использую mongoose, никак не могу понять, как сделать правильно. У меня есть массив объектов, собираемый на стороне, мне по полю id нужно найти в mongo запись, если ее нет, то добавить. Вот так не робит

findOneAndUpdate + upsert

Можно ли использовать монгу если я собираюсь делать полнотекстовый поиск по ± миллиону документов? И есть ли какие-то рекомендации для организации этого. (Проект скорее для обучение)

Можно ли использовать монгу если я собираюсь делать полнотекстовый поиск по ± миллиону документов? И есть ли какие-то рекомендации для организации этого. (Проект скорее для обучение)

Не стоит монго именно для поиска полнотекстового. Ну или выносить поиск в отдельный сервис, например sphinxsearch

А уже после поиска - работать с данными с монго по _id

Не стоит монго именно для поиска полнотекстового. Ну или выносить поиск в отдельный сервис, например sphinxsearch

Благодарю

Можно ли использовать монгу если я собираюсь делать полнотекстовый поиск по ± миллиону документов? И есть ли какие-то рекомендации для организации этого. (Проект скорее для обучение)

Сильно зависит от того, что вы подразумеваете под «полнотекстовым» поиском

В монге есть текстовый индекс, но возможности его ограничены. Но монга это документное хранилище и если вам не страшны слова вроде стеммера и морфологии, то в монге можно вообщем-то соорудить очень много разного. Ну или использовать внешний индекс

Очень базовые вещи текстовой индекс может

Лучше какой нибудь эластик юзать

Коллеги, посоветуйте free клиент для Windows... кроме консоли... поставил 30 дневный Studio 3T, рассматриваю ещё усечённый NoSQLBooster, а есть что нибудь достойное и бесплатное ? 😊

Коллеги, посоветуйте free клиент для Windows... кроме консоли... поставил 30 дневный Studio 3T, рассматриваю ещё усечённый NoSQLBooster, а есть что нибудь достойное и бесплатное ? 😊

Compass?

Коллеги, посоветуйте free клиент для Windows... кроме консоли... поставил 30 дневный Studio 3T, рассматриваю ещё усечённый NoSQLBooster, а есть что нибудь достойное и бесплатное ? 😊

там можно постоянно говорить что ты используешь софт для некоммерческих целей и юзать его сколько хочешь

а то они попутали столько бабла просить за не самый лучший по юзабилити браузер бд

и да, я использую его только в некоммерческих целях, а вообще предпочитаю компасс

Привет, есть коллекция с такимим сущностями:

очень херовые названия полей

очень херовые названия полей

я знаю, но это вынужденое зло..