могу пока сказать что я сделал

собсно после падения монги на мастере я его перезапускаю и получается он дореплицирует

3 падения в течении 750 гб

6 часов в общем прошло

на графике появлися траффик

опять что то передает

на слейве

[FileAllocator] done allocating datafile /var/lib/mongodb/tickets_logs_new_files_20160303.5, size: 2047MB, took 0.05 secs 2016-05-17T15:18:37.660+0300 I STORAGE [DataFileSync] flushing mmaps took 28353ms for 789 files

а может быть так, что кто-то пишет в обе реплики одновременно?

исключено

серваки изолированы

ок

после того как он будет создавть каждый индекс, он будет досинкивать базу

потому что на время создания индекса репликация для данной коллекции будет заблокирвоанна

исключением будут индексы, созданные на мастере со флагом бэкграунд тру

ну мне по сути это не страшно главное чтобы память не забилась и мастер не упал

сейчас кстати нагрузка чуть уть возлосла

81.6%

мастер упал

плять

кинь на пастебина ошибку полностью прихватив пару строк до.

сек

http://pastebin.com/kHvVEvPt

волшебный гугл рекомендует `--repair`

http://stackoverflow.com/questions/31273977/mongo-db-invariant-failure

мде

есть ощущение что у вас база побита.

а просто дамп с нее делается ?

уху

я бы стопанул мастер, скопировал (на всякий пожарный) файлы и сделал --repair

скопировать лучше на соседний сервер, это могут диски сыпатся

дам нет

не. достаточно попытаться сделать дамп на другой машине

дам нет ?

дамп

не делается

я имею ввижу архивирование

дам нет ?

Дам нет, ругаться матом можно!

Хотя, постойте

не делается. всмысле вы не делаете, или он тоже фейлится ?

чтобы стопануть мастер надо кого то на его место впихнуть

а впихнуть некого

я не делаю

баз много на ноде ?

угу

чтобы стопануть мастер надо кого то на его место впихнуть

стреляйтесь. С 90% вероятностью вы базу запороли, надо выводить из обслуживания, вешать заглушку

чёйта я её запорол

Вот сейчас прямо момент истины. А бекапы есть?

сказали же - дампа нет

нету

картинку про бегемотика прислать?

для дампов нет места

на сервере 1тб хд

дампить на другой сервак, ну в самом деле

один, небось?

ну негде епт

ну поднять клиента на втором серваке и дампить туда, ну в самом деле

повторюсь некудда

админы делятся на 2,5 группы. Добро пожаловать во вторую

что за данные хоть? Восстановить можно? Или что-то критичное?

вот вы заколебали ну была бы моя воля поставил бы и дампил

<metallkaput> а что такое девопсы? <musicpd> это такие хипстеры со смузями, кубернетами и прочими монгами в облаках. <musicpd> у меня булшитометр от всего этого девопсного говна начинает зашкаливать секунд через 10. <musicpd> а так, вощщем, это та же разработка/поддержка продакшена, только от хипстеров для хипстеров.

повторюсь некудда

делайте дамп на ту машну, куда вы реплицировать базу пытаетесь

нет моей воли

и? там места не будет для реплики

ERROR: S client not available

вот вы заколебали ну была бы моя воля поставил бы и дампил

ты уже которую неделю страдаешь с монгой

там так же 1 тб винт

Зато будет дамп с которого попозжеможно будет развернуть нормальный монго

ой лучше не напоминайте

стопаните там монгу, ремувните файлики базы.

и делайте дамп.

нет моей воли

это отговорка. Всегда можно найти решение проблемы. Нет дополнительного винта - сходил в магазин, купил на свои, используй для бэкапов.

а е нормальный если база по вашим словам битайя

битая

если база сдампится, дальше думать будем.

есть ощущение что она сможет развернутся. на 3ю с включенной компрессией.

вот это ближе к истине

Вот у вас сейчас задча какая - сделать чтобы все работало штатно или пдонять любыми усилиями текущее состояние монги? Это две разны задачи видимо

просто для начала нужно понять. дампится она хоть как то или нет

вообще да, я бы рекомендовал следующий сценарий - удалить slave - сдампить базу на слейв - остановить мастер - сделать repair - вернуть мастер - грохнуть бэкап - поднимать слейв

скорее всего второй этап вам не удасться. Тогда - останавливать мастер, копировать файлы на слейв и делать repair

Вот у вас сейчас задча какая - сделать чтобы все работало штатно или пдонять любыми усилиями текущее состояние монги? Это две разны задачи видимо

ну конечно, мы можем пытаться решить проблему, а можно быть как вы и говорить "сам дурак монгу взял"

сдампить + скопировать

потому, что repair может данные поломать

сдампить + скопировать

не влезет, писали выше

:)

винты 1Т, база весит 0,75Т

понимаете ли

не влезет, писали выше

Если копировать сразу с сжатием - влезет

репейр нихера не ломает.

я не могу в продакте останоовить монгу

репейр требуте х2 места

мне надо замена

зеркало кароч

это как фул вакуум в монге любимой )

тьфу в постгре

репейр нихера не ломает.

У меня был кейс (на второй правда) когда репейр сломал базу