С хранилищами типа wt дефрагментация смысла не имеет

Да и в целом, современные файловые системы уже настолько сложны, что слово дефрагментация можно забыть :)

Да и в целом, современные файловые системы уже настолько сложны, что слово дефрагментация можно забыть :)

Ну я не про саму ФС, я про монговский defrag

Compact?

Да, я имел в виду compact

Просто, как я понимаю, Монга не возвращает место, если его не делать

И правильно делает

Это я к тому, что удалять записи на сингл-инстансах не всегда хорошая идея

Тут я консервативен: на ноде с базой данных не должно быть других сервисов. А значит задачи вернуть место в систему не стоит. Есть ряд пограничных случаев.

можно и deletedAt обойтись

Тут я консервативен: на ноде с базой данных не должно быть других сервисов. А значит задачи вернуть место в систему не стоит. Есть ряд пограничных случаев.

Это верный подход, но экономически не всегда выгодный

Всегда выгодный.

Если у меня стартап, где неважно еще абсолютно 4 девятки аптайма или 3, и не понятно что будет в будущем, существующий на личные деньги основателей можно и на одном сервере подержать приложение с базой

Вообщем-то других вариантов нет. Удаляемые документы выбираются по индексированному полю?

В целом я так и думал. Видел вариант с переименованием коллекции и последующим инсертом в нее, но мне он не подходит. Первоочередная задача освобождать место на диске. После удаления - maintance и compact на всех серверах кластера..

для стартапов без денег есть замечатльная штука atlas

Аталас на всю серверную инфраструктуру может стоить 500₽ в месяц?

атлас вообще стоит 0 рублей

и на сервер приложения и на сервер БД?

потом про 500 рублей в месяц и стартапы, ну это даже смешно

во-первых, сейчас ваучер на облачную инфраструктуру можно получить на каждом углу

В целом я так и думал. Видел вариант с переименованием коллекции и последующим инсертом в нее, но мне он не подходит. Первоочередная задача освобождать место на диске. После удаления - maintance и compact на всех серверах кластера..

так удаляемые документы выбираются по индексированному полю или нет?

атлас вообще стоит 0 рублей

За 512 мегабайт, и стартапу-то в принципе важно на первых этапах экономить почти на все

За 512 мегабайт, и стартапу-то в принципе важно на первых этапах экономить почти на все

это очень много мегабайт

да, в первую очередь время. стартапу катать свою инфраструктуру это очень дорого

так удаляемые документы выбираются по индексированному полю или нет?

Да, по индексированному. я через find получаю курсор на документы, дальше бегу по нему и удаляю по 1000 bulk'ом.

это очень много мегабайт

У нас после запуска база меньше чем за месяц выросла до 10Гб

У нас после запуска база меньше чем за месяц выросла до 10Гб

и вы не можете окупить затраты на хранение данных?

и вы не можете окупить затраты на хранение данных?

Ну первые месяцев 6 не могли

Да и когда деньги свои платишь, а не инвестора, желание сэкономить выше

На самоокупаемость проект вышел только через полтора года

когда ты платишь свои деньги, катать свою инфраструктуру это вообще крайней степени расточительство

и програм для стартапов — как грязи.

но это разговор для другого чята)

Да, по индексированному. я через find получаю курсор на документы, дальше бегу по нему и удаляю по 1000 bulk'ом.

а что в explain по find?

и что в поле? его можно как-то заранее порезать на приблизительные куски?

Так, я начал копаться в атласе, не понимаю как сделать коннект к нему..

когда ты платишь свои деньги, катать свою инфраструктуру это вообще крайней степени расточительство

можете меня помидорами закидать, но для старта, когда еще не понятно было, что за продукт получится, кто пользователи и т. д. подойдет инфраструктура из одного сервера за 500₽, на который монга раскатывается в 3 команды (ну побольше еще TP отключать), nginx, нода и остальное ставится тудаже

да

Когда приходит время, когда уже понятно за что платят, и кто, и сколько, можно вынести уже в нормальную реплику, на выделенные под базу сервера, и т. п. Это верный подход.

http://api.mongodb.com/python/current/atlas.html

Когда приходит время, когда уже понятно за что платят, и кто, и сколько, можно вынести уже в нормальную реплику, на выделенные под базу сервера, и т. п. Это верный подход.

верный подход не тратить ни время, ни денег на operations. потому что время тоже стоит денег. и в отличии от денег, время нельзя потом заработать

верный подход пойти в амазон и взять ваучер

можете меня помидорами закидать, но для старта, когда еще не понятно было, что за продукт получится, кто пользователи и т. д. подойдет инфраструктура из одного сервера за 500₽, на который монга раскатывается в 3 команды (ну побольше еще TP отключать), nginx, нода и остальное ставится тудаже

разрешите согласиться.

а то изначально все как прилипнут к сервисам, и сразу получается дикий vendor lock не, для кого-то это плюс, но лично я такое вообще не лю.

97% компаний умрут в первый год

страх перед vendor lock это разновидность NIH

пойду пну гугл что такое nih

not-invented-here syndrome

да-да, расскажите. я, в своем микро-мирке, и то вижу такое, от чего глаза на лоб лезут. тут вон рассказывали - k8s, все дела, 180 лоад балансеров. одних, сцк, ЛБ !!! потому что "модно клёво и вообще одной кнопкой" и уйти с этого тупо уже нереально, или дико дорого

нас амазон с монги активно тянет динамодб щупать интересно, зачем?

да-да, расскажите. я, в своем микро-мирке, и то вижу такое, от чего глаза на лоб лезут. тут вон рассказывали - k8s, все дела, 180 лоад балансеров. одних, сцк, ЛБ !!! потому что "модно клёво и вообще одной кнопкой" и уйти с этого тупо уже нереально, или дико дорого

уйти c амазона или с k8s?

нас амазон с монги активно тянет динамодб щупать интересно, зачем?

зачем монга лиценизю меняет?

если есть 180 ЛБ, значит есть клиенты которых этими ЛБ обслуживают. а значит есть выручка

уйти c амазона или с k8s?

Понимаешь, @dd_bb , тут дело в том, что мало кто знает как тот куб работает, и что он там в авс нафигачил.

нас амазон с монги активно тянет динамодб щупать интересно, зачем?

Потому что динамодб- это продукт амазона?)

И они хотят заработать

все хотят заработать

"оно живёт", и никто не считает как. в общем может и неплохо, но это пока оно работает. а как только надо будет навести порядок - сорян, приплыли

все хотят заработать

тут вопросов нет но я именно про вендор лок

если вы считаете что что-то бесплатно, вы просто не знаете как вы за это платите

"оно живёт", и никто не считает как. в общем может и неплохо, но это пока оно работает. а как только надо будет навести порядок - сорян, приплыли

я не верю в «сорян приплыли»

почти всегда «сорян приплыли» это отмазка инженеров

приходите, расскажу

нанимайте :)

могу начать с Теско

нанимайте :)

да-да, вот она, классика - прилипнуть к вендору, чтобы потом кучу народа чтобы смигрировать :)

я, если что, кормлюсь тем же, потому тут no offence но сам факт

вот я гарантирую, когда бизнес скажет что надо резать или порежут самих инженеров, инженеры найдут способ «сорян приплыли» реализовать

либо порежут инженеров и будет правы

если бизнес сейчас всё устраивает, то пусть дальше крутят сотни LB

это вообще нормально, у продуктов есть фазы и после окончания фазы роста следует фаза оптимизации

ну так а толку, когда это сильно прилипло изза дикой привязки к? речь же и идет о том, чтобы те же миграции между провайдерами были наименее болезненными? и ошибки не стоили, как чугуниевый мост?

когда есть смысл начинать издержки сокращать

если бизнес сейчас всё устраивает, то пусть дальше крутят сотни LB

всё так и есть.

ну тогда и проблемы нет

не в вендорлоке дело, а в том что нет задачи оптимизировать

бизнес это тоже инженерное сооружение и предварительная оптимизация в бизнесе это тоже зло :)

но если завтра бизнес это не будет устраивать , то будет проще платить за лб, ибо если надо будет другое, то начнут искать консультантов и тонны человекочасов для ухода от вендорлока

бизнес это тоже инженерное сооружение и предварительная оптимизация в бизнесе это тоже зло :)

да.

это не значит что надо кидать бабло во все стороны, но и биться за копеечки тоже не стоит

потому что битва за копеечки это дорогое занятие

но если завтра бизнес это не будет устраивать , то будет проще платить за лб, ибо если надо будет другое, то начнут искать консультантов и тонны человекочасов для ухода от вендорлока

это абсолютно нормально

потому что мир состоит не из розовых пони

вы расскажите, как из этих розовых пони выползти, когда вокруг одни розовые пони. с минимальной болью, желательно.

большинство бизнесов, которые я консультировал, они все собраны из говна и палок, там просто леденящие душу решения под капотом, но смысл не в том чтоб было красиво, а в том чтоб это работало и приносило бабок

а то фраза как раз из мира розовых пони. не хоитте розовых - идите к голубым. а надо прилипнуть гдет в удобном месте, чтобы не было больно при решении о смене ори^Wцвета, простигосподи)

большинство бизнесов, которые я консультировал, они все собраны из говна и палок, там просто леденящие душу решения под капотом, но смысл не в том чтоб было красиво, а в том чтоб это работало и приносило бабок

нет я не хочу в это верить ))

это только у нас говно и палки в мире - розовые пони, я знаю.

вобщем-то я очень уважаю такие решения и мне очень нравится это разгребать

приходишь и постепенно наводишь порядок

розовые пони они являются результатом гигантской работы и почти всегда начинаются с говна и палок

есть исключения конечно, когда звезды совпадают и всё сразу получается

но это как $1.6 млрд в джекпот в поверболле выйграть

я все мечатаю увидеть такое. потому что лень, жадность бизнеса и нежелание вкладывать бабло и низкая квалификация строителей ведут к ситуации, когда "мне нравится, когда все из говна и палок, и я это разгребаю". суммы за такое мы умалчиваем, потому что вам приходится этим заниматься с теми бизнесами, которые выплыли и могут это позволить. и иногда - даже в разумные сроки

но те, кто затолкнул это в такую ситуацию, должны иметь свой личной котёл.

благодоря тем кто заталкивал, вам зарплату платят

это вообще очень частая позиция, блейминга руководства, мол они там тупые, творят что хотят