$sum со списком возможно только на стейдже project https://docs.mongodb.com/manual/reference/operator/aggregation/sum/#definition

А как это должно выглядеть в итоге?

больше вариантов нет

ещё конечно можно размер оплога увеличить, но маловероятно что это поможет

А как это должно выглядеть в итоге?

Сделайте груп с суммированием, а потм добавьте ещё одни стейдж projectи в нем уже сумму по полям

Планируется активная запись

планируется или уже есть?

Можно сказать уже есть, реализовано в приложении Пользователей обещают нагнать, максимальная нагрузка скорее всего будет на несколько недель максимум (пальцем в небо)

Но не думаю что сильно ошибся

это в гигабайтах оплога в час сколько?

это легко достаточно подсчитать

если целевая нагрузка известна

Пока затрудняюсь ответить, статистические данные отсутствуют Должно работать при ~2500 одновременных пользователей

2500 одновременных пользователей сколько операций в минуту совершают?

1000 rps, 80% select 20% insert

но вобщем даже если они будут по операции в секунду совершать, а каждая операция по килобайту, это 2.3 мегабайта в секунду или 8 гигабайт в час.

Нашел последние цифры

1000 рпс на 2500 пользователей?

достаточно популярная рекламная платформа, которая крутилась на нескольких десятках тысяч сайтов давала 30-80к запросов в минуту, это 500-1400rps

и там побольше чем 2500 пользователей было

утро! ребят... я вот тут накосячил.. или не накосячил, ещё не знаю. в общем, есть база. каждый документ - это пользователь пользователь пересылает отчёт, и в документ пользователя заносится строка словаря вида "дата1": { "4-8 строчек": "вида" "количество": 5, "качество": "хорошо", ... } и так далее по датам... строчки однотипные, но много.... можно ли как-то получить только те даты с отчётами, где, например, "качество" только "хорошо"? до чего я додумался - это получить весь документ и прогнать его for'ом... но база в облаке, и я лелею надежду, что она может быть когда-нибудь разрастётся до полугига, например)) есть ли ещё варианты?)

1000 рпс на 2500 пользователей?

1000 rps более точная цифра, чем количество пользователей

тысяча запросов в секунду это безумно большая нагрузка

это аудитория в сотни тысяч человек

Ну, зависит от приложения Других данных у меня пока нет

если вы к такому готовитесь, то я бы предложил начинать с моделирования нагрузки и последующего нагрузочного тестирования

потому что монга скорее всего будет не самой большой вашей проблемой

тысяча запросов в секунду это безумно большая нагрузка

Как сделать так, чтобы владельцы бизнеса думали так же :)

Согласен, нагрузочное тестирование необходимо Но если вернуться к оплогу. Допустим 200rps на вставку, как правильно посчитать скорость его заполнения?

Согласен, нагрузочное тестирование необходимо Но если вернуться к оплогу. Допустим 200rps на вставку, как правильно посчитать скорость его заполнения?

взять jmeter, нарисовать сценариев, запустить и посмотреть

утро! ребят... я вот тут накосячил.. или не накосячил, ещё не знаю. в общем, есть база. каждый документ - это пользователь пользователь пересылает отчёт, и в документ пользователя заносится строка словаря вида "дата1": { "4-8 строчек": "вида" "количество": 5, "качество": "хорошо", ... } и так далее по датам... строчки однотипные, но много.... можно ли как-то получить только те даты с отчётами, где, например, "качество" только "хорошо"? до чего я додумался - это получить весь документ и прогнать его for'ом... но база в облаке, и я лелею надежду, что она может быть когда-нибудь разрастётся до полугига, например)) есть ли ещё варианты?)

Не расстраивайтесь. Можно получить, да, можно через unwind например https://docs.mongodb.com/manual/reference/operator/aggregation/unwind/

взять jmeter, нарисовать сценариев, запустить и посмотреть

Про доступные инструменты я в курсе :)

Как сделать так, чтобы владельцы бизнеса думали так же :)

показать им формулу 1000*60*60*24

оплог нужно не в документах в секунду мерять, а в байтах

Не расстраивайтесь. Можно получить, да, можно через unwind например https://docs.mongodb.com/manual/reference/operator/aggregation/unwind/

пасиба, раскуриваю)))

показать им формулу 1000*60*60*24

Rps * sec * hour * day ?

да. а потом посмотреть сколько проектов в мире имеют 84 миллиона запросов в день

оплог нужно не в документах в секунду мерять, а в байтах

Ок, если поделитесь формулой расчета буду признателен :)

Ок, если поделитесь формулой расчета буду признателен :)

у вас очень невнятно сформулирована задача

нарисуйте лоад план, на бумажке

да. а потом посмотреть сколько проектов в мире имеют 84 миллиона запросов в день

Речь всё таки не про 24 часовую непрерывную нагрузку в таком объёме, это факт. Скорее речь о нескольких часах в день на протяжении нескольких недель.

распишите какие у вас есть ресурсы, сколько и каких запросов к ним будет

и потом по каждому из запросов померяйте размер записи в оплоге

дальше используйте данные из лоад плана и посчитайте цифры

да. а потом посмотреть сколько проектов в мире имеют 84 миллиона запросов в день

у меня одних инсертов больше но все равно это все "ерунда, можно из говна и палок собрать, нафига тут кластер?"

распишите какие у вас есть ресурсы, сколько и каких запросов к ним будет

А есть где-то хорошие статьи где можно почитать про разрешение высоких нагрузок и best practices?

простите, чатик пригорает

а у вас там реклама, да?

да

посчитать сколько стоит один запрос, а потом посчитать стоимость минуты простоя :)

в необслуженных запросах

можно красивый суточный график нарисовать

точнее не стоит, а приносит

с рекламным трафиком это обычно легко

это логике не поддается она такая - когда поздравляешь всех с большой цифрой - все говорят, что "большие цифры, к сожалению, это не деньги" а как только цифры меньше - вазелин сразу отбирают ))

в смысле? очень даже поддаётся

я выдаю технические цифры

а ты выдавай цифры с бабками

народ сам это под себя адаптирует

это всех участников отрезвляет

capacity кластера в бабках

текущую утилизацию ёмкости в бабках

стоимость простоя в бабках

а ты выдавай цифры с бабками

всунуть в графану dollars per sec ? Хороая идея, хехе

стоимость запроса в бабках

да, типа того

revenue / codb

распишите какие у вас есть ресурсы, сколько и каких запросов к ним будет

Попробую прикинуть на днях и посчитать скорость заполнения оплога. Раскидаю пданируемое количество запросов, на количество нод. Сейчас большей информации нет. Расчетами поделюсь :)

у вас один тип запросов?

если нет, то просто число запросов на число нод никакого смысла не имеют

чем быстрее вы от запросов к байтам перейдёте, тем будет лучше

а это можно сделать только с моделями документов

Размер в байтах чего именно?

размер запросов: на вставку, на обновление, на чтение и на удаление

по типа документов/коллекциям

это даст вам примерное понимание необходимых ресурсов. потому что 1000 rps на чтение одного документа размеров в 100 байт это одна нагрузка

а 1000 rps в 10Тб коллекцию, с чтением сотни документов по 3кб — совершенно другая

из плана запросов будет понятно где и каких индексов надо

это тоже надо учитывать

Развернуто, спасибо. Буду считать.

из плана запросов будет понятно где и каких индексов надо

Это достаточно просто, запросов мимо индексов при таком нагрузке, даже краткосрочной недопустимы. Full collection scan зло.

В облаке есть убер галка, падать при полном сканировании коллекции.

у вас конфиг в /etc/mongod.conf есть?

нет

В ходе своих поисков я выяснил что если написать sudo mongod и вдругом окне терминала написать mongo то оно работает

нет

Я перепутал, есть

только mongodb.conf

И вот что я еще юзал

Еще перед тем как писать

https://stackoverflow.com/questions/48092353/failed-to-start-mongod-service-unit-mongod-service-not-found

Всё, вроде разобрался...

Всем привет. Такой вопрос: создал приложение ноджс, подключил к монгодб, однако в монго шелл не вижу записей созданных в приложении

открываю cmd, пишу mongo test, но записей нет в бд test

всё, разобрался

Привет! Подскажите пожалуйста: 1) в монге возможно сделать автоинкремент поля? 2) насколько быстрый лукап? он "джойнит" сразу все документы с выборки, или по одному?

Привет! Подскажите пожалуйста: 1) в монге возможно сделать автоинкремент поля? 2) насколько быстрый лукап? он "джойнит" сразу все документы с выборки, или по одному?

Лукап быстрее populate могнуза, это точно

ребят подскажите есть бекап backup_name.gz в архиве но не могу востановить его чтобы переименовать базу , как это правильно сделать можете подсказать ?

Ещё пара вопросов - Я правильно понимаю что в одном запросе монга может юзать только один индекс?