кстати, обнаружил такую вещь, если к MongoDB обращаться в огромном кол-ве паралельных запросов из приложухи к какой то коллекции, то монго (видимо) думает, что данная коллекция весьма популярна и ... начинает активно её кэшить, т.е. флудинг монго улучшает темпы скачки данных из неё (у меня задача - максимально быстро качнуть из монги некий набор данных ).

Может ли кто то подтвердить гипотезу?

Может не монга думает, а операционка и ее дисковый кеш?

у монги и свой кеш есть

особенно он актуален, если не весь индекс влез в память

(ии я путаю, и у монги индекс всегда в памяти?)

(ии я путаю, и у монги индекс всегда в памяти?)

Ну индексы могут весить больше чем у тачки памяти

А если индекс больше Памяти?

не стоит вскрывать эту тему

А если индекс больше Памяти?

На диск вылезет

You gonna have a bad time

На диск вылезет

Он там изначально лежит :) Речь была про кеш, а точнее - скорость доступа к частозапрашиваемым данным

Он там изначально лежит :) Речь была про кеш, а точнее - скорость доступа к частозапрашиваемым данным

Справедливо. Но bad time будет в любом случае.

кстати, обнаружил такую вещь, если к MongoDB обращаться в огромном кол-ве паралельных запросов из приложухи к какой то коллекции, то монго (видимо) думает, что данная коллекция весьма популярна и ... начинает активно её кэшить, т.е. флудинг монго улучшает темпы скачки данных из неё (у меня задача - максимально быстро качнуть из монги некий набор данных ).

У WT есть свой кеш, который может использоваться для хранения страниц с данными об индексах или о непосредственно bson. Те страницы которые используются чаще, будут оставаться в кеше. В этом кеше страницы хранятся без компрессии, так как кеш долен оспечеивать минимальное время доступа для очень горячих данных. Компрессия (если включена) происходит в момент когда WT сбрасывает страницы из кеша на диск. Но так как в современных ОС есть ещё и дисковый кеш, под который обычно выделяется вся «свободная» память, то дисковый кеш можно рассматривать как второй уровень кеширования, но уже с компрессированными данными.

особенно он актуален, если не весь индекс влез в память

В WT он всегда актуален. По сути между индексами и данными с позиции WT очень мало разницы. Это всё WT таблицы под капотом.

Монга старается приоритезировать индексы над данными, но если индекс весь не влазит, но запросы к индексу ездят по примерно одном путям в дереве, то в кеше будет только активные старинцы индекса. Но любой проезд по другому пути в дереве приведёт к тому, что за страицами хранящими нужную ветвь в дереве придётся несколько раз сходить на диск. А это делает индекс бесполезным.

Чтоб понимать почему ходить на диск плохо, есть вот такая отличная картинка про время доступа к различным ресурсам

какая-то ужасно ненаглядная попытка визуализировать это: https://gist.githubusercontent.com/jboner/2841832/raw/latency.txt

ты не поверишь, там даже ссылка внизу на этот гист

про ненаглядность согласен

но по крайней мере общий масштаб понятнет

в гисте даже ссылка на эту "ужасно ненаглядную попытку" :) Вообще круто, спасибо за расшаривание

это надо было линейно рисовать, потому что из-за двухмерности теряется реальный масштаб

линейно?

на одной оси, видимо

Stable: 3.4.7 (Aug 8, 2017), Bugfix: 3.2.16 (Jul 27, 2017) 3.4.7: https://docs.mongodb.com/manual/release-notes/3.4/#aug-8-2017 3.2.16: https://docs.mongodb.com/manual/release-notes/3.2/#jul-27-2017 Пришло время обновляться до 3.4.1+: https://aphyr.com/posts/338-jepsen-mongodb-3-4-0-rc3

Это нормально, что маинтейнеры монги месяцами пулреквесты не смотрят?

Даже если завел issue в их джире

Stable: 3.4.7 (Aug 8, 2017), Bugfix: 3.2.16 (Jul 27, 2017) 3.4.7: https://docs.mongodb.com/manual/release-notes/3.4/#aug-8-2017 3.2.16: https://docs.mongodb.com/manual/release-notes/3.2/#jul-27-2017 Пришло время обновляться до 3.4.1+: https://aphyr.com/posts/338-jepsen-mongodb-3-4-0-rc3

благодарю

Даже если завел issue в их джире

Они на них смотрят исключительно если есть ишшуй в джире

В какой компонент?

Это нормально, что маинтейнеры монги месяцами пулреквесты не смотрят?

мой за 2 недели вмержили, но он был не в саму монгу, а в питонячий драйвер

и да, ишуй был ещй до меня, я только фикс сделал

В c# драйвер, issue они видели (поменяли статус), но после этого молчок

Назначили кого-то на ишуй? Ну спроси в ишшуе статус.

Назначили кого-то на ишуй? Ну спроси в ишшуе статус.

Назначили, спрошу значит напрямую назначенного

В ишуе сначала спроси

Я так собираюсь

Странно просто, на один ответили, другой проигнорили

Оба раза одно и тоже сделал

Т.е завел ишью, подождал пока рассмотрят, а потом дальше уже писал код

Нетворкинг решает. Затрись с мейнтейнерами своего дайрвера

Если хочешь быстрый мерж своих штук ;)

Нетворкинг решает. Затрись с мейнтейнерами своего дайрвера

Само собой) но я толком их нигде не замечал (e.g.твитеры)

Но зачем?! За три бакса у овх можно взять 64 битную виртуалку с 2гб оперативы

3 евро, но все равно это охуенные впски

Дешевле и качественнее не найти

У меня без проблем вертится пхп с монгой на ней, рекомендую всем

ну-ну, чет у меня парочка сегодня в рестартах умирает весь день, сеть у них худшая, защиты нет, разве что действительно мощность заявленую предоставляют. с абузами не борятся, абсолютно ничего не делают для защиты клиентов внутри их же сети, блочат рандомно блоки адресов, посмотри их travaux. Типичный лоукостер, да еще и без саппорта.

Саппорт отвечает долго, но когда у меня наебнулась оперативка на проде, мне ее за час заменили без моего участия

Канал нормальный, никогда проблем не было

задачи у нас видимо разные, для альтернативы рег.ру - сойдет, что-то серьезно это нужно искать, потому что качество облаков почти никто не предоставляет.

Возможно. Что вы там держите?

это хобби, плюс помогаю людям бесплатно обычно. овх не подходит вообще

В любом случае, впс у них лучшие, как минимум цена/качество

А кого тогда вы порекомендуете?

я бы взял DO, они постабильнее.

Сирисли?

У меня абсолютно противоположные впечатления

ну вот выборка по хосту =) http://i.imgur.com/LVGRmQL.png

наверное мне не везет, этой впске уже годик =) а такое первый раз. Ну точнее чтобы весь день, обычно рестарты бывают раз в недельки две. там все равно докеры и ничего больше нет, поэтому в принципе некритично.

Вообще странно

Реально никаких проблем

Ну вот только рам умер, но это может произойти где угодно

много ситуаций было когда внутрисети сервер ложили, много помню проблем с дедиками, которые они не хотели решать. Это так-то осознанное решение.

рам - downtime, это они фиксят, а когда у тебя проц в троттл уходит из-за охлаждения - они не фиксят =)

справедливо

Народ, кто в курсе, можно ли хранить персданные в монге и не получить пизды от фстэка?

ну вот выборка по хосту =) http://i.imgur.com/LVGRmQL.png

у тебя очень старый таер

таер?

VPS-X уже полгода как нет :)

если не больше

не ну вполне возможно нужно перезаказать просто =)

но вообще ты от виртуалки за 3 бакса много хочешь

я ничего не хочу =) всего лишь показал xD

на DO всё тоже самое

там помойка для тестов =)

раньше такого не было

у меня на DO есть виртуалка за 5$, иногда перезагружается

Всем привет, периодически гоняю аналитические запросы в монгу. Нет ли какой-нибудь тулзы, где можно сохранить эти запросы и дашборд по ним сделать? Без BI всякого, просто есть некоторые метрики, которые считаются по данным из монги и которые хотелось бы вывести на экран все разом.

Выставить у поста visible в false и ничего не делать с данными

Ну и обычно связь один ко многим делают не так.

сорри затупил я забыл что у комментариев хранится id их поста и можно просто удалить все комментарии по id поста )

Только не стоит забывать, что это не атомарная операция

в чем-то может быть подвох ?

стоп...а как много элементов по очереди ? не циклом же ? )

в чем-то может быть подвох ?

Удалится посту, но не сообщения или удалятся сообщения, но не пост или могут не все сообщения удалиться.