даже не знаю слышал ли я более странное предложение

оценка iops для базы при выполнеии запроса... хм.

у меня есть запросы к mssql которые фактически кладут базу

у всех есть такие запросы.

С таким подходом ты насчитаешь чушь полную

Потому что ты пытаешься определить размер абстрактного коня в абстрактной системе координат

? а ещё у меня многие кодеры потребовали им поченить select count * у кассандры и аэроспайка

Даже не коня, а его абстрактной проекции

Даже не коня, а его абстрактной проекции

а тут всё так

Так не из этого исходить надо

Модели нужно строить

Взять срез реальных данных, гигов 100, залить в монгу и исследовать данные

Взять целевые параметры, типа числа потребителей, количества и типа запросов

Взять пиковые параметры, запас

не. всё фигня. требуй all flash на 40Tb

Пфф

это под journal

NVMe

под данные еще 2 стойки

Взять срез реальных данных, гигов 100, залить в монгу и исследовать данные

нет ещё данных, к тому же все данные должны быть подписаны разными ключами и конторами из списка их больше 16 тысяч

Пиздец

К абстрактной архитектуре ещё а добавок.

о

я видел ответ на этот вопрос

я видел ответ на этот вопрос

30% тебе, 70% мне?

?

не. у меня гдето было тз на эту тему

30% тебе, 70% мне?

тюремоного срока?

"Время выполнения запросов зависит от параметров, не поддающихся надежной оценке на стадии проектирования"

вот. и нахуй послал. и еще раз вернутся!

чудо а не фраза

А может кто-то подсказать (не так давно с монгой работаю, еще не освоился) - есть запрос, который возвращает грубо говоря {elements:[{...}, {...}, {...}]}, в то время как мне нужно - [{...},}{...},{...}]. Как это можно сделать?

На клиенте выкусить

На клиенте выкусить

Серьезно, больше никак? То есть монга не позволяет устранять излишние вложенности?

Можно через AF сделать, но я смысла не вижу.

См

Можно через AF сделать, но я смысла не вижу.

А что такое AF ?

Тьфу блин. Короче смотри там на выбор от projection до redact

Aggregation framework

Тьфу блин. Короче смотри там на выбор от projection до redact

спасибо.

Но лучше либо избавиться от лишнего подокумента, либо кроить на клиенте

Но лучше либо избавиться от лишнего подокумента, либо кроить на клиенте

Понял, спасибо.

Еще один вопрос - мне выдается частенько маппером всякая херня по типу { "$numberInt" : "1" }, { "$numberLong" : "1" } и прочее такое. Можно ли как-то заставить монгу проглатывать и выплевывать адекватные примитивы, или это со стороны фреймворка проблема?

Со стороны фреймворка

Bson бинарный же

То что ты показываешь это расширенная json нотация bson

То что ты показываешь это расширенная json нотация bson

Просто странно, учитывая то, что загоняю я определенно Json, такое видеть.

Весь протокол и обработка внутри базы в bson. То что ты показываешь это проблема десермализации скорее всего

Bson бинарный формат, там тип задаётся 8 битами

@dd_bb привет! А подскажи, плиз. в лог монги активно пишутся строки типа 2017-10-27T06:17:25.916-0700 I COMMAND [conn26413] query dev_0.subid_cr_info query: { subscription_id: "59c777e14e8fb4f2ff8b45cd", subid_name: "subid1", clicks: { $gte: 100 } } planSummary: IXSCAN { subscription_id: 1, subid_name: 1, clicks: 1 } cursorid:307732170309 ntoreturn:0 ntoskip:0 keysExamined:101 docsExamined:101 numYields:6 nreturned:101 reslen:15921 locks:{ Global: { acquireCount: { r: 14 } }, Database: { acquireCount: { r: 7 } }, Collection: { acquireCount: { r: 7 } } } 105ms оно зачем это говорит? это какой-то лог долгих-кривых запросов, которые стОит передать девелоперам?

там в конце везде сколько-то ms, похоже на медленные запросы. так?

ну вон 105 мс у тебя запрос выполняется стоит оптимизировать

Типа того.

Там нечего судя по всему оптимизировать. На 101 лукап ключа 101 документ.

Можно лимит приподнять

Сколько qps?

оно медленно изза диска, 100%

сек

Памяти добавьте значит

qps монгостатом же можно посмотреть?

Да

1.2k ins 3k query 3.5k update 500 getmore 500 command наверное это оно :)

А как часто в логи срёт?

да вот совсем активно ща замеряю, сек

Но в целом это признак что на горячие данные не хватает памяти.

~50 в секунду

2% запросов

Долейте памяти, если возможно.

Просто реплика?

спасибо, попробую диски в пиках до 70% io wait доходят. Да, просто реплика

подозреваю что аналитику сейчас какуюто тяжелую запустили

Если бизнес логика позволяет читать с секондарей, то можно какие-то данные оттуда начать читать.

еще раз спасибо! пойду рисовать предложения владельцам.

Из другой коллекции например

с реплики, afaik, много читается, но перепроверю.

Экспортер воткни

Будет видно что в памяти живёт

экспортер в какой-нить прометеус?

https://github.com/db-ai/mongo_collection_exporter

Мой вот этот

Там уже для графаны даже шаблоны есть

Понял спасибо, сделаю.

вот кстати

у кассандры, аэ сциллы есть лог в котором полная последовательность прихода и обработки данных

а есть он у монги, а то чтот туплю

про кластер пока читаю, чтобы поднять в докере

у кассандры, аэ сциллы есть лог в котором полная последовательность прихода и обработки данных

В монге это Journal — атомарный лог операций относительно стораджа конкретной ноды. В случае с кластером есть oplog, это чуть более высокоуровневый лог операций, который реплицируется. Оплог работает даже если журнал выключен.

В монге это Journal — атомарный лог операций относительно стораджа конкретной ноды. В случае с кластером есть oplog, это чуть более высокоуровневый лог операций, который реплицируется. Оплог работает даже если журнал выключен.

предположим он повредился по каким либо причинам, будет ли как в кассандре из-за этого проблема с базой?

Народ, начал настраивать шардинг в монге. И не могу поднять mongos