kay
Ты fdisk с -lu запускал?
blkmrkt
угу
blkmrkt
blkmrkt
слишком много текста, поэтом грепнул
Дима
Какая у вас тут захватывающая сцена
"--Росс, мы его теряем!"
kay
Короче
blkmrkt
kay
У тебя судя по богам был degrated array
kay
Логам
kay
Чето случилось, так? Ты позвал суппорта и он выпилил все разделы на первом диске и запилил новые. Мало того, он их кажется ещё и отформатировал под ext4
blkmrkt
ох блин
kay
Ибо они бы у тебя не пртмонтировались
blkmrkt
Good evening,
I see the server uses software RAID technology. It's possible to replace the faulty SSD with a new one without having to reboot the server. Will you perform the necessary procedures to replace the disk or should I do it? If you'd like me to do it, could you provide me root access?
blkmrkt
дальше я отвечаю
Thank you, but I wouldn't dare to touch mdadm commands, please do the set-up. I have added a sudoer named "lukas", and you can find the private key attached. (do 'ssh-add lukas_balticservers', and then just 'ssh lukas@server-ip'').
There is a PostgreSQL server running, not sure if I should stop it, because there is just 3% disk space left.
blkmrkt
blkmrkt
partitions went faulty for some reason меня вот это тоже напрягло
blkmrkt
этот лог*
blkmrkt
и после, это мне суппорт прислал:
Personalities : [raid6] [raid5] [raid4]
md2 : active raid5 sdd3[3] sda3[0] sde3[4] sdc3[2] sdb3[1]
3874275328 blocks super 1.2 level 5, 512k chunk, algorithm 2 [5/4] [UUU_U]
[>....................] recovery = 0.0% (150272/968568832) finish=15632.2min speed=1032K/sec
bitmap: 8/8 pages [32KB], 65536KB chunk
md1 : active raid5 sdc2[5] sda2[0] sde2[4] sdd2[3] sdb2[1]
31232000 blocks super 1.2 level 5, 512k chunk, algorithm 2 [5/4] [UU_UU]
resync=DELAYED
md0 : active raid5 sda1[0] sde1[4] sdd1[3] sdc1[2] sdb1[1]
991232 blocks super 1.2 level 5, 512k chunk, algorithm 2 [5/5] [UUUUU]
unused devices:
kay
Ядро работало с массивом, который был собран на MBR, он в это время наживую выпилил старые MBR, запилил gpt и форматнул их. Само собой во время рекинка у ядра снесло крышу от такого поведения и оно повисло. Но это пока тока догадки
blkmrkt
kay
Ох чую мне чето дохера кодеинчика принесли ) похорошело
blkmrkt
я еще в вебморде чекал iowait, очень нагружены диски были, видимо ребилдились
blkmrkt
хехе
blkmrkt
а чего в больничке то? запорол диски кому-нибудь?
kay
Ну смотри, это только догадки.
kay
Тонзилит
blkmrkt
и после, это мне суппорт прислал:
Personalities : [raid6] [raid5] [raid4]
md2 : active raid5 sdd3[3] sda3[0] sde3[4] sdc3[2] sdb3[1]
3874275328 blocks super 1.2 level 5, 512k chunk, algorithm 2 [5/4] [UUU_U]
[>....................] recovery = 0.0% (150272/968568832) finish=15632.2min speed=1032K/sec
bitmap: 8/8 pages [32KB], 65536KB chunk
md1 : active raid5 sdc2[5] sda2[0] sde2[4] sdd2[3] sdb2[1]
31232000 blocks super 1.2 level 5, 512k chunk, algorithm 2 [5/4] [UU_UU]
resync=DELAYED
md0 : active raid5 sda1[0] sde1[4] sdd1[3] sdc1[2] sdb1[1]
991232 blocks super 1.2 level 5, 512k chunk, algorithm 2 [5/5] [UUUUU]
unused devices:
до меня только дошло, что RAID5 это не 5 дисков, а N дисков, нарезанные на эти самые куски, объединенные под md0-2
kay
Ну у тебя в raid5 используется пять дисков
kay
А вообще raid5 пережиток прошлого
kay
Рекомендуется raid6
kay
Это так, к слову
blkmrkt
угу мне уже говорили, больше raid5 не буду ставить
blkmrkt
вообще если диск является частью raid массива, какая разница какая там разметка разделов на нем? или софтверный райд ее использует для хранения метаданных?
kay
В твоём случае диск разбит на разделы и эти разделы являются составляющими трёх рейдов
kay
Можно сделать и так что весь диск целиком будет частью рейда, а потом его уже можно дробить
blkmrkt
ок, значит если захерить разметку, то он и не подключится никогда
blkmrkt
kay
У меня все ещё под вопросом был ли gpt
kay
И как грузилась система
blkmrkt
я тогда попробую разметку с sdb на sda перенести, и снова запущу mdadm —scan?
kay
Угу. Только проверь что ядро новую разметку подсосало
blkmrkt
если систему загружать щас, вот на этом все останавливается
kay
Но имхо когда форматнули разделы - они похерили данные рейда
kay
Это понятно где загрузка останавливается
kay
А если они их похерили, и массив был degrated, то данные тебе придётся долго восстанавливать
blkmrkt
о это не страшно, хоть месяц пускай стоит восстанавливает, главное чтоб постгрес запустился потом
blkmrkt
короче я щас пробую таблицу партиций с sdb на sda натянуть и посмотреть узнает ли mdadm этот диск
kay
Нефин было допускать degrated
kay
Нефиг
blkmrkt
это конечно хороший урок)
kay
Вообще большинство фолтов - совокупность маленьких проблем, которые достигли критической массы.
blkmrkt
хмм, что-то еще использует этот диск
blkmrkt
sda3 монтирована...
blkmrkt
/dev/sda3 is busy...
интересно
kay
А что хорошего в том что фолт произошёл? Ты нахобишь все эти маленькие проблемы
kay
Сделай lsof -n
kay
И посмотри кто юзает
blkmrkt
да я ни разу не сталкивался с raid - с пк копался, школьником работал в сервисе пк, а тут столько всего нового, интересно
blkmrkt
blkmrkt
процесс журналинга
kay
Pid 235 это журнал?
blkmrkt
kay
Не помню что такое jbd
blkmrkt
ext4 journal написано
blkmrkt
The only way I found was to comment out the device in /etc/fstab and reboot. Apparently, jbd2 is activated by the kernel, as soon as the device is mounted during boot.
blkmrkt
короче нужно искать нормальный live cd и пробовать с него грузиться 😂
kay
Давай.
kay
Ipxe
kay
Я отчаливаю
kay
Если есть возможность сделать дамп всех дисков - делай
blkmrkt
угу, как раз ищу куда положить это все
blkmrkt
а днем вернешься?
kay
Наврядли
kay
Я чисто just for fun вклинился и бессонница была
blkmrkt
а ну спасиб большое
kay
Да незачто. Проблема все равно её решена
blkmrkt
kay
Иди спать лучше. Уставшему совершить непоправимую ошибку проще
blkmrkt
я только забутюсь и бекап запущу думаю, тогда уж спать пойду
blkmrkt
г-ди это пушка! получаешь настройки с dhcp, и просто chain http://server.org/images/rescuecd.iso, и оно бутится!