вместо того, чтобы разложить данные по нужным полям, слепливаем их в одно и потом разбираем регэксом всякий раз. В целом это выглядит как антипаттерн

А оно этот регэксп по индексу умеет. Тут регэксп - часть контракта с базой

но видимо тут всё же не тот случай

Это именно тот случай.

Ага. Я понял.

Спасибо )

Full path - единственный идентификатор файла. Остальное сильно зависит от того что про это думает конкретная fs

Посмотрел я на статистику чата и дал опа @dd_bb . Так что, @dd_bb, принимай. Придется тебе оправдывать возложенное доверие.

:(

ну всё, меня забанят теперь :0

За что?

за неуважение к регэксам!

на самом деле я не боюсь их, просто полагаю, что в общем случае стоимость поддержки кода с регэксами выше. Даже если регэкс маленький. Но это уже спор не для данного чята

Кстати, там кажется почти закончился экспортер. Сегодня буду на тестовом столе гонять, думаю что первую technical preview версию на неделе можно будет запилить.

вообще в итоге понял что мне не нужны директории )

у меня в самой монге лежат products которые я и так отдаю, и они знают какие файлы к ним относятся. нафиг директории выпилил

(а выборка всё равно нужна только в пределах продукта)

Collations уже кто-то щупал? Не пойму чем en, en_US и en_US_POSIX различаются.

От это картинки вы вероятно немного намочите свои трусики: https://yopp.in/ZiH

bytes currently in the cache / bytes read into cache / bytes written from cache

По самой коллекции или по каждому индексу

Уопщем если раньше от Cache Read/Write хотелось плакать и бить ногами разработчиков, то теперь ваши волосы будут мягкими и шелковистыми и вы за пять секунд сможете сказать какая коллекция/индекс виноваты в том, что монга пошла дрочить ваш нежный сторадж

я не понимаю почему mms такое говно

и столько денег стоит

столько же можно крутейших штук с этими метриками замутить. ещё бы научится как-то легко запросы анализировать, чтоб сразу ещё и корреляции делать

вот мол этот запрос у вас в жопу долбиться начал

добавьте индекс!

пьёшь утром кофе и читаешь рекомендации мониторинга

сколько вы за такое бы заплатили?

столько же можно крутейших штук с этими метриками замутить. ещё бы научится как-то легко запросы анализировать, чтоб сразу ещё и корреляции делать

Ну, есть же slow, в logstash его

да ну

слоу фигня

у меня он почти везде стоит на 1с, так как на 2Тб данных 100мс это профанация

сколько раз такое было, что есть коллекция которая целиком влазит в память, но которая вся в сканах и ты её в slow никогда и не увидишь

а она кеш тебе дрочит

вот мол этот запрос у вас в жопу долбиться начал

А тесты в деве с включенным notablescan?

Это тебе повезло если тесты есть.

Ну я сам их пишу)

я не представляю сколько мне надо брать денег, чтоб я ещё и тесты писал

очень много!

яж проктолог, ко мне с уже существующими проблемами приходят

монголог-андролог, лол

когда у вашей базы не стоит™

https://github.com/y8/mongo_collection_exporter/releases/tag/0.0.1-preview5

Что-то я видимо отстал от жизни. В моем понимании экспортер - простой скрипт с файлами на выходе. А тут рельсы, Java,.... ?

Что-то я видимо отстал от жизни. В моем понимании экспортер - простой скрипт с файлами на выходе. А тут рельсы, Java,.... ?

Я с радость посмотрю как ты будешь парсить монговские документы на го

Я с радость посмотрю как ты будешь парсить монговские документы на го

Я не пишу на Go

Я тоже :)

Так что если есть чо предложить, я буду рад услышать.

Java тут чисто из-за портабельности руби

Я сделаю потом докер имадж без жабы

Потому что этот экспортер у меня жрёт 1 (один) гиг памяти

Оно как прокси в реалтайме что ли работает?

Не понял вопроса

Это штука которая вытаскивает метрики из монги и конвертирует их в формат совместимый с прометеем

Я не работал с Прометеем. Но наличие там контроллеров создаёт впечатление, что оно работает как сервер, а не просто данные сливает в какой-то дамп

да, потому что прометей работает через HTTP

у него есть два формата, один текстовый и простой, другой на протобуферах

ты в прометей складываешь адреса штук откуда ты хочешь собирать метрик и он их собирает

Ага, я просто привык ко всяким графитам с агентами

графит тоже push идеалогию преследует

и это круто, потому что прометей реально пиздато скейлится

и это круто, потому что прометей реально пиздато скейлится

Согласен.

Предлагаю всем вступить в секту свидетелей прометеус

дык есть же

https://telegram.me/metrics_ru

и это круто, потому что прометей реально пиздато скейлится

ну, мы вот знаем такую штуку - Sentry. она прекрасный пример как падает херня, которая делает push

и мне пришлось нахачить под нее злобные костыли, чтобы стало pull

но получилось весьма недурно;)

жаль только, что внутри закрытого проекта

Друзья, а вложенность сильно влияет на производительность? Именно на производительность, а не на место на диске.

Т.е. info.user_id vs i.

Это поле - индекс.

Насколько я понимаю, нисколько не влияет. Особенно в случае индекса.

Друзья, а вложенность сильно влияет на производительность? Именно на производительность, а не на место на диске.

Влияет на index-only queries

если индекс по вложенному полю — index-only невозможен

И няшечка пошла: https://yopp.in/ZyP

охуенно

представляю что ощущали проктологи когда им в первый раз дали эндоскоп!

Влияет на index-only queries

То есть covered? Когда поля, которые возвращаются - в индексе?

А они у меня все вложенные - x.z & x.y.

Это значит, что я соснул?

Это значит, что я соснул?

Если тебе нужны index-only queries, то да

https://docs.mongodb.com/v3.2/core/query-optimization/

An index cannot cover a query if: any of the indexed fields in the query predicate or returned in the projection are fields in embedded documents. [2] For example, consider a collection users with documents of the following form:

Спасибо!

А агрегации могут полноценно использовать "covered queries"?

$match x: 0 $project x:1, y: 1, _id: 0 Index x: -1, y: -1.

Ну это как пример.

А агрегации могут полноценно использовать "covered queries"?

А чёрт его знает

Думаю что нет

Продолжаю писать из горящего танка

Вытащил ещё несколько метрик в дешборд, теперь можно получить примерный ответ не только на вопрос «какая коллекция или индекс разъебал мне кеш» но ещё и на вопрос почему

Жги!