START TRANSACTION; SELECT balance, id FROM users WHERE id = ? в общем делаю запрос, так не работает, убираю старт тразакций - работает

Короче говоря. База разрослась и ей не стало хватать кэша. Плюс какие то супер огромные обращение к дискам около 140к секторов в сек на чтение и почти столько же на запись

Вам в @dba_ru

Всем привет, подскажите пожалуйста, есть две коллекции (_id, name, lastName and userId, test: [], test1: []) - нужно сделать хитренький запрос который вернет один обьект в котором будет _id, name, lastName, test, test1(из другой коллекции) или лучше просто сделать несколько запросов и смержить два обьекта?

я вам настоятельно рекомендую распланировать обновление минимум до 3.6

привет, обновил, но проблема так и осталась, какое то время запрос работает, а потом начинает отдавать все результаты

Искать запросы которые приводят к такой нагрузке. Ну или покупайте подписку, помогу найти https://db-ai.co

Вчера разресерчил Получается у нас база весит не в сжатом виде 30гб ОЗУ у нас 46 гб Помимо этой бд там еще есть, к которым тоже идут запросы Также на севрене замечены аномальные показательи чтения и записи на диск. Получается что монге не хватает кэша из-за того что база разрослась.

Вы всю базу читаете постоянно?

3.6

Вы всю базу читаете постоянно?

В какой момент происходит «потом»?

Среда для тестирование перфоманса. Там идут запросы любого рода. Монгостат показал на апдейт пик 40к

не знаю, я обновляю запрос на любой другой, могу убрать какой то параметр, могу добавить, и оно начинает работать и выдавать правильные результаты, но проходит где то 5 мин, и оно отдает все результаты, пока опять не обновлю запрос

Очевидно что ваша тестовая среда не выдерживает тестовой нагрузки. Без информации что у вас там конкретно происходит, зачем вы это делаете посоветовать что-то сложно.

Всем привет! Подскажите пожалуйста, как лучше сделать поле, выводимое из нескольких других в документе? Например, есть поля {"a": 1, "b": 2}. Нужно c = a+b. Видел несколько вариантов: встроенной функцией на javascript или запросом mapReduce. Либо читать поля и рассчитывать сумму каждый раз. Каковы лучшие практики?

Это клиент делает) а мы должны конструктивно сказать «а-та-та! Так нельзя»

Ссылочку я вам уже дал :) приходите, помогу и разобраться и сформулировать что именно приводит к проблемам.

@dd_bb подскажите пожалуйста, есть две коллекции (_id, name, lastName and userId, test: [], test1: []) - нужно сделать хитренький запрос который вернет один обьект в котором будет _id, name, lastName, test, test1(из другой коллекции)

В mongo shell проблема воспроизводится?

в mongo shell вроде как все ок, когда шлю запрос с php, то есть эта проблема, но там всегда один и тот же запрос, он не меняется, поэтому не думаю что проблема в php

Наиболее вероятно что у вас где-то кешируются результаты

@dd_bb а можно внутри output отфильтровать некоторые значения? Допустим вторая коллекция включает поля которые я бы не хотел видеть в output поле

Считать при обновлении документа

В update запросе, которые обновляют "a" и "b" или можно встроить неявное обновление "c" при изменении "a" или "b"?

@dd_bb а если к примеру, полей много и я хочу сделать project: true для нескольких полей, а остальные откинуть

Использовать полнотекстовый поиск

в монге FTS тормозной :( а эластик лажа, я 500ГБ буду 2 месяца грузить только.... пока "выкрутился" поставив limit 10. заказчика устроило.... 🙄

ну это оффтопик, смысл обсуждать? 500ГБ и FTS монга ну вообще никак не вытянет, что смеяться? описанные выше проблемы были даже на 700МБ коллекциях (список названий ЮЛ РФ)

@dd_bb подскажите, как избавится от вложенности, к примеру есть field: { a: [], b: [] }, на выходе нужно избавится от поля field, а внутренние поля а и б вынести на верхний уровень

Ссылочку я вам уже дал :) приходите, помогу и разобраться и сформулировать что именно приводит к проблемам.

@dd_bb а если к примеру поле [[]], и мне нужно избавится от одной вложенности, тоже с помощью project?

Всем привет! У товара >150 аттрибутов, стоит ли 150 полей делать или упростить как то часть полей в строку например.

А зчем Монга юзает и свой кэш и кэш ОС? Она типа упирается в свой потолок кэшсайза, а потом идет просить у ОСи?

@dd_bb я сделал таким образом, это окей? { $unwind: { path: '$a’, preserveNullAndEmptyArrays: true } }, { $unwind: { path: '$b’, preserveNullAndEmptyArrays: true } }

Наиболее вероятно что у вас где-то кешируются результаты

где _id идентификатор аттрибута

спасибо, а потом как фильтровать потом? если надо будет клиенту показать лишь с некими аттрибутами? проблем не возникнет? это не дольше будет { 'attrs.Number': 'somevalue} чем {'somefield': 'somevalue'}?

Начиная с 4.2 можно: https://www.mongodb.com/blog/post/coming-in-mongodb-42-pipeline-powered-updates-and-more-expressive-queries

Немного не то. Нужно что-то, что будет неявно обновлять поле "c" при изменении "a" и "b". А в статье предлагается способ отправить запрос на обновление "c" без чтения "a" и "b".

Друзья, подскажите, пересекающиеся индексы и должны фэйлить в таких условиях или таки можно что-то подкрутить? compound индексы делать не могу, т.к. запросы очень разноплановые. :( Суть проблемы: есть коллекция (300ГБ, 1млрд++ доков, 1 сервер). поля не особо уникальные, уникальны их сочетания.... поля например: фамилия, имя, отчество, год, месяц, день, ещё что-нибудь.... индексы построены по каждому из полей . если идешь запетрищенко василий петрович 2000 12 31, есно ищет за секунду и меньше. а вот "василий петрович 2000 12" выполняется бесконечно. хотя реально васильпетровичей с др 2000.12" немного. а вот каждого из аттрибутов по отдельности явно миллионы....