Но когда у тебя кластер в террабайт особо не на бекапишься.

На zfs можно посадить, да. Но это надо zfs, а он не всегда и везде есть. В ZoL например недавно баг с попорченными снепшотами всплыл

btrfs страшно

А больше вариантов особо и нет.

Так что хочется на уровне приложения это делать

Кстати, в линуксе есть совершенно крутая штука: reflink

Это хорошо когда его можно взять.

Потом например на vmware при создании снепшота монга портит данные

На mmap ещё куда ни шло, а на WT нода требует полного ре-синка

ну тыж сам тут советуешь fs-level снепшоты :)

вот тебе пример, когда оно не рабоает от слова совершено

есть старая инсталяция монги, которую очень давно развернули на vCenter

там полный набор, сетевой сторадж, автоматическая миграция и вот это всё

куда ты её собрался переносить?

мне год потребовалось чтоб утвердить обновление с 2.4 до 3.0 :)

там всё по регламентам

какое в жопу версионирование в монге

ты о чём

это идиотизм

и это не решает задачу инкрементальных бекапов

дай мне исходники приложения сначла

и потом по регламенту утверди внесение таких изменений

ты понимаешь что не всё можно на уровне приложения бекапить?

например я посмотрю как ты забекапишь атомарный inc

я тебе в целом

потом у монги уже есть лог операция

oplog

…

и я про него. вот собственно вопрос есть ли готовые решения которые умеют сохранять и проигрывать oplog, кроме MongoDB Cloud Backup Manager

в облако нельзя

я посмотрю как ты аналитику на оптимистичных транзакциях сделаешь :)

и как оно будет потом работать

когда у тебя два клиента пишет сто записей в час, наверное да

когда у тебя несколько десятков могут обновлять одну запись несколько сотен раз в минуту, это уже другое :)

map/reduce в монге на sharded кластере, хахахаха

удачи

ой, вот давай мы пропустим про нельзя, когда ты даже не видел приложения? и судишь по одной фразе, окей? :)

теперь возьми сделай map/reduce с output на шардед кластере

и сделай их несколько десятков параллельных

и мы после этого поговорим

в коллекцию

там в приложении пре-аггрегация

клиенты пишут в жирную коллекцию с событиями

батчами

и потом батч отправляется в map/reduce и раскладывается про «разрешениям»

ничо что output создаёт новую коллекцию временную, а создание новой коллекции локает шард? :)

и ваще, монговцы сами нам открытым текстом сказали что нехуй использовать map/reduce, валите на aggregation framework

правда они молодцы и AF не умеет output без замены коллекции

у нас не очень выходит делать re/reduce там на каждем шаге надо брать старый источник

в смысле читать из коллекции

потому что данные могут приезжать в разнабой

да, на sharded

в простом реплика-сете всё нормально

да не выйдет, яж говорю

в батче могут быть данные за любое время вообще

а для того чтоб обновить временной интервал, надо прочитать все записи которые в него попадают

так как там относительно сложна математика по аггрегациям

А расскажи про это

ох и нафлудили, что то решили хоть или так?

господа, посоветуйте чем лучше бекапить базу по 3/4 тера ?

мы бэкапим снапшотом zfs. Правда, приходится останавливать монгу на минутку

но других вариантов особо нет

но слейв остановить дешево, правильно ?

у нас нет слейва. Если есть - то да, вообще красота

т.е у нас сценарий такой: стопаем монгодб (только осторожно - надо тщательно следить, что она остановилась, инит скрипты там глючные были в 2.7), снапшотим раздел с базами, запускаем монгодб, утягиваем снапшот в бакулу

объем большой ?

Если есть хидден реплика - достаточно сделать fsynclock и cp/rsync

нет хидден нету

Если есть хидден реплика - достаточно сделать fsynclock и cp/rsync

в 3.2

А зачем при снапшоте останавливать базу?

до 3.2 fsynclock ничего не гарантирует на самом деле

в 3.2

Это если wt

у меня wt

да, а зачем mmap вобще

и 3.2

он не нужен

А зачем при снапшоте останавливать базу?

потому что тебе никто не гарантирует что у тебя роллбека не будет

если монгу штатно потушить, она положит всё на диск и шанс что у тебя там чекпоинт какой-то не доехал или с журналом говно практически нулевой

но с 3.2 и wt можно и без этого, да

Ну тушить базу на проде - это прям какой-то нонсенс.