Daniel
задумываться над другим решением надо сразу
MXLTN
))) какой следующий эвалюционный шаг? Cassandra? Hadoop?
yopp
Общий вопрос, насколько хороша монго для больших объёмов документов? Ну вот например 200к и это только начало, через год уже будет за 5 млн доков, стоит уже задумываться над каким-то другим решением или при правильной настройке монга может схавать?
в монге количество документов не играет особой роли
yopp
роль играет размер документа, количество постоянно используемых документов и размер индексов
yopp
у меня есть подшефный кластер в котором десятки миллиардов документов, только размер там меньше террабайта. и это всё более-менее спокойно крутится на шарде из 3 репликасетов
yopp
на железе которое чуть моложе самой монги :)
yopp
))) какой следующий эвалюционный шаг? Cassandra? Hadoop?
следующий эволюционный шаг, правильный дизайн документов
yopp
мы например даже с компрессией в WT перешли на короткие имена ключей
yopp
мы стали более активно использовать вложенные документы, для того чтоб сократить объём индексов
Alex
Господа, а действительно, как просить монгу не занимать всю доступную память? А то дев-сервер, а она как скушает себе все 8 гигабайт загнобив приложения и в итоге остаются в памяти редис, мемкеш и монга.
yopp
ulimit и ручки у WT
Alex
Всё-таки кастовать на ulimit, угу. Спасибо! :)
yopp
тоесть услово дать ulimit 4 гига, под WT кеш выделить 2
MXLTN
yopp
нет, это значит что данные размазываются по 3 репликасетам. у нас запрет на чтение со слейвов, они только для HA
Aleksey
yopp
mongooplog is deprecated starting in MongoDB 3.2.
yopp
вот пидоры
Aleksey
а что это ?
yopp
штука которая позволяла стримить оплог на другой хост
yopp
без включения сервера в кластер
Aleksey
hidden нода ?
Anonymous
Mongo::Error::OperationFailure: CachedPlanStage killed during plan selection (96)
Anonymous
Кто-нибудь знает, почему такое могло произойти?
Roman
они на свет прут
Alex
Гаси!!!
Denis
Господа
Denis
а какие есть варианты максимально атомарного и быстрого применения разных снепшотов в монге ?
Denis
во тк примеру у меня есть коллекция на 30м записей, в раз в сутки кое что пересчитывается, и ряд полей в документах меняется, допустим меняется в 500к документах примерно.
как бы максимально резко произвести эти изменения.
Denis
кроме prepare queries а потом bulk 500k нет никаких идей почему то )
Alex
мигрировать на постгрес например
Denis
нет, спасибо )
Alex
мышки плакали кололись, но упорно ели кактус (цэ)
Denis
это вы про поцгрес ? )
Denis
согласен, жопа полная, хз как люди в динамичных инфраструктурах живут с ним
Alex
про монгу.
CC-BY-SA-4.0/Docker-ce30.0
30M записей это прилично.
CC-BY-SA-4.0/Docker-ce30.0
Ну ладно.
Alex
постгрес давно уже поддерживает JSONB с приличным языком запросов + ACID + UUID вот тебе это и монга, только без головняков =)
Denis
Alex
вспомнить как кластер монги развавливается при неверном репликейшен сете ? :)
Denis
сравните процесс создания шардов \ реплицированных шардов \ добавление новых реплик \ роутинг по репликам в монге и постгре
Denis
ой да вспоминайте хоть провал форсквейра )
Alex
не в курсе за это
Denis
это ничего не показывает, кроме черствости ваших знаний )
Denis
и отсуствие опыта эксплуатации видимо )
Alex
нет
Alex
просто для себя вижу в каждой монге потенциального донора для постгреса
Alex
если не умеете решать проблемы кластеризации
Alex
в RDBMS не беритесь.
Denis
ну лечитесь, что поделать
Denis
я не хочу это делать в 2016м году также как в 2002м
Denis
заебало, чес слово, простите конечно
Alex
думать заебало ? :)
yopp
еслиб постгрес нормально кластеризовывался, с него бы не бежали
yopp
а так, это просто набор «собери сам и проеби данные»
Denis
вы сейчас играете на чуствах верующих ) но нет, не думать, но нет, решать те задачи которые уже давно качественно решены другими системами, своими костылями.
Alex
кхм, и это мне говорят адепты базы где ни хранение не выборка данных не гарантирована ?
Alex
лол
Denis
хранение и выборка гарантированны.
Alex
нет
Denis
да
CC-BY-SA-4.0/Docker-ce30.0
> нны
CC-BY-SA-4.0/Docker-ce30.0
он первый начал
yopp
ой чо щас начнётся
CC-BY-SA-4.0/Docker-ce30.0
нет он
CC-BY-SA-4.0/Docker-ce30.0
нет он
CC-BY-SA-4.0/Docker-ce30.0
нет он
yopp
нет вы все
yopp
один я на белом коне в плаще и с дудкой
CC-BY-SA-4.0/Docker-ce30.0
дудуду
yopp
Denis
ну если человек не утруждается аргументровать, и говорить то, что он имеет ввиду а не то что мы должны за него додумать, не вижу смысла стараться тоже.
Alex
да я просто это наблюдал.
Denis
вы говорите про "не гаратированна выборка" а подразумеваете уровни конcbcntynyjcnb &
Denis
*консистетнтости ?
Alex
если у тебя случилось поймать в набор который обрабатывает мап редюс данные которые немного не устраивают редьюс - данные потеряны, а более того может и прервать выполнение мап-редьюсе и получить на выходе неконсистентное состояние данных