Slava
а может быть так, что кто-то пишет в обе реплики одновременно?
Slava
ок
Denis
после того как он будет создавть каждый индекс, он будет досинкивать базу
Denis
потому что на время создания индекса репликация для данной коллекции будет заблокирвоанна
Denis
исключением будут индексы, созданные на мастере со флагом бэкграунд тру
Denis
кинь на пастебина ошибку полностью прихватив пару строк до.
Logan
волшебный гугл рекомендует `--repair`
Logan
http://stackoverflow.com/questions/31273977/mongo-db-invariant-failure
Denis
мде
Denis
есть ощущение что у вас база побита.
Denis
а просто дамп с нее делается ?
Denis
уху
Logan
я бы стопанул мастер, скопировал (на всякий пожарный) файлы и сделал --repair
Logan
скопировать лучше на соседний сервер, это могут диски сыпатся
Denis
не. достаточно попытаться сделать дамп на другой машине
Denis
дам нет ?
Alexander 🐕
дам нет ?
Дам нет, ругаться матом можно!
Alexander 🐕
Хотя, постойте
Denis
не делается. всмысле вы не делаете, или он тоже фейлится ?
Denis
баз много на ноде ?
Logan
стреляйтесь. С 90% вероятностью вы базу запороли, надо выводить из обслуживания, вешать заглушку
Evgeny
Вот сейчас прямо момент истины. А бекапы есть?
Logan
сказали же - дампа нет
Logan
картинку про бегемотика прислать?
Logan
дампить на другой сервак, ну в самом деле
Logan
один, небось?
Logan
ну поднять клиента на втором серваке и дампить туда, ну в самом деле
Logan
админы делятся на 2,5 группы. Добро пожаловать во вторую
Logan
что за данные хоть? Восстановить можно? Или что-то критичное?
Roman
<metallkaput> а что такое девопсы? <musicpd> это такие хипстеры со смузями, кубернетами и прочими монгами в облаках. <musicpd> у меня булшитометр от всего этого девопсного говна начинает зашкаливать секунд через 10. <musicpd> а так, вощщем, это та же разработка/поддержка продакшена, только от хипстеров для хипстеров.
Denis
делайте дамп на ту машну, куда вы реплицировать базу пытаетесь
Roman
ты уже которую неделю страдаешь с монгой
Evgeny
Зато будет дамп с которого попозжеможно будет развернуть нормальный монго
Denis
стопаните там монгу, ремувните файлики базы.
Denis
и делайте дамп.
Logan
это отговорка. Всегда можно найти решение проблемы. Нет дополнительного винта - сходил в магазин, купил на свои, используй для бэкапов.
Denis
если база сдампится, дальше думать будем.
Denis
есть ощущение что она сможет развернутся. на 3ю с включенной компрессией.
Evgeny
Вот у вас сейчас задча какая - сделать чтобы все работало штатно или пдонять любыми усилиями текущее состояние монги? Это две разны задачи видимо
Denis
просто для начала нужно понять. дампится она хоть как то или нет
Logan
вообще да, я бы рекомендовал следующий сценарий - удалить slave - сдампить базу на слейв - остановить мастер - сделать repair - вернуть мастер - грохнуть бэкап - поднимать слейв
Logan
скорее всего второй этап вам не удасться. Тогда - останавливать мастер, копировать файлы на слейв и делать repair
Denis
Вот у вас сейчас задча какая - сделать чтобы все работало штатно или пдонять любыми усилиями текущее состояние монги? Это две разны задачи видимо
ну конечно, мы можем пытаться решить проблему, а можно быть как вы и говорить "сам дурак монгу взял"
Evgeny
сдампить + скопировать
Logan
потому, что repair может данные поломать
Logan
сдампить + скопировать
не влезет, писали выше
Denis
:)
Logan
винты 1Т, база весит 0,75Т
Evgeny
не влезет, писали выше
Если копировать сразу с сжатием - влезет
Denis
репейр нихера не ломает.
Denis
репейр требуте х2 места
Denis
это как фул вакуум в монге любимой )
Denis
тьфу в постгре
Evgeny
репейр нихера не ломает.
У меня был кейс (на второй правда) когда репейр сломал базу
Denis
руки ваши базу сломали а не репейр )
Denis
как в процессе копирования можно сломать базу ? может она уже сломана была ?
Evgeny
винты 1Т, база весит 0,75Т
сжатие. Если у него первая версия движка то сжимая все что он дампит и копирует может в 400Гю влезть
Logan
репейр нихера не ломает.
у меня сломал один раз. Потер данные
Denis
_картинка дауни младшего закатывающего глаза_
Logan
как в процессе копирования можно сломать базу ? может она уже сломана была ?
если там один диск - то его могли просто покрошить физически. Особенно, если он SAS
Alexander 🐕
Омг да драма
Denis
и причем тут репейр ?
Evgeny
как в процессе копирования можно сломать базу ? может она уже сломана была ?
после анклин шатдауна с вылетом батарейки на рейде (напряжение в ДЦ скакануло до 480) востсановление базы восстановило ее с другими _id
Alexander 🐕
Лепра лавс да драма
Denis
правильно
Denis
выкиньте нахуй свои рейды с батарейками
Denis
=)
Evgeny
Уже :)
Denis
вы бы еще сказали "я уранил винт когда ставил в другой сервак" а потом репейр не смог восстановить мои данные.
Logan
и причем тут репейр ?
давайте не путать кислое с длинным, ок? История моя с репейром - это одно, а расколотый диск - совсем другое. У меня репейр в базе потерял небольшой кусочек данных, что-то порядка 2 гиг. Это было сырье, так что никто, в общем-то, не обидился
Denis
а зачем вы после одного в качестве примера приводите другое ? )
Evgeny
вы бы еще сказали "я уранил винт когда ставил в другой сервак" а потом репейр не смог восстановить мои данные.
ну суть проблемы в том что мы хз почему у него не корректная база. это может быть сыпящийся винт, может что-то еще. anyway сначала лучше сделать копию на другой диск
Denis
именно !
Logan
а зачем вы после одного в качестве примера приводите другое ? )
я не привожу пример :) я только рекомендую ПЕРЕД repair сделать копию базы на случай, если этот repair что-то где-то поломает. Если не поломает - выдыхаем и удаляем спокойно копию
Denis
я и предлагаю на тот сервак на который репликацию пытается восстновить запустить атм mongodump
Denis
он все равно не сможет сделать его. места не хватит
Denis
это первое.
Evgeny
именно !
Упс, я вдруг пролистал выше и понял что ва не мне на предложение сначала скопировать потом чинить отвечали, прошу прощения
Logan
я писал о том же самом