Alexander 🐕
Ну - терабайт может быть хоть 50 Смотреть надо hit rate
Viktor
стартовать собирались с 4ТБ
Alexander 🐕
Памяти на машине сколько было?
Viktor
от 32 до 128
Alexander 🐕
От 32?
Alexander 🐕
Ну, поздравляю
Alexander 🐕
А как подключалось такое хранилище, по iSCSI?
Alexander 🐕
В принципе, я могу попытаться дописать экспортер и наладить рисование hit rate на наших коробках
Alexander 🐕
Размер ARC экспортер уже пишет и так
Viktor
10g
Alexander 🐕
Для munin я все это сделал годы назад - так что, у кого ZoL, можно брать и пользоваться
Viktor
до какого обьема доросли? росли постепенно? или сразу запустили сколько надо было?
Alexander 🐕
Сразу запустили
Alexander 🐕
Терабайта по 2 с небольшим на машину
Alexander 🐕
На машинах строго по 128G RAM
Alexander 🐕
Как что-то можно делать с 32 при таких объемах - ума не приложу
Alexander 🐕
Но, опять же, возможно, что никакой нагрузки на чтение и нет вовсе никогда
Alexander 🐕
Смотреть надо графики
blkmrkt
в продолжение истории со сломанным RAID5, вот ответ от суппорта в дц на вопрос что он сделал: You are correct, both md2 and md1 were missing a partition: sdc2 and sdd3. I've installed "SmartMonTools" and ran "smartctl -a /dev/sdc" and then "smartctl -a /dev/sdd" to check if either of the drivers had permanent damage. Both passed self-testing successfully and showed no "bad" or "reallocated" sectors. While this is an indication that something might be wrong with the drives themselves, practice shows that re-adding the partitions usually solves the problem permanently or until end-life cycle for the drive. Yesterday I've re-added both partitions with "mdadm --add /dev/md2 /dev/sdd3" and "mdadm --add /dev/sdc2 /dev/md1". After that, re-sync automatically began. Both /dev/md1 and /dev/md2 were marked as degraded because of missing partition members. Получается что /dev/sda он и не трогал, и оно работало в составе raid ранее с такой разметкой как на картинке, да?
blkmrkt
Трайбор
или там несколько дисков выпало?
blkmrkt
или там несколько дисков выпало?
вот так выглядело до сервиса
Трайбор
вали оттуда
Трайбор
закрывай с ними вообще всю работу
Трайбор
они невменяемые
blkmrkt
showed no "bad" or "reallocated" sectors
Трайбор
а, тьфу, NO
Трайбор
просмотрел
blkmrkt
хорошая истрия (2005) про склеивание страйпов райда вручную http://freesoftwaremagazine.com/articles/recovery_raid/
Трайбор
чот приустал...
Трайбор
так-то, наверное, ничего сверхсложного. Наверное, кропотливая работа, внимание и время надо.
blkmrkt
короче наверное нет смысла таблицу разметки копировать и вообще sda трогать, просто подниму raid из livecd и прочекаю файловую систему
Трайбор
вот так выглядело до сервиса
так, стоп, я просмотрел, там же партиции двух разных дисков в фейл упали
Трайбор
не одного диска, а двух разных
Трайбор
просто попробуешь собрать массивы?
blkmrkt
хмм, точно, раид же поверх этих партиций работает?
blkmrkt
тогда сначала fsck всех дисков по отдельности с авторемонтом, а уже потом пробовать собирать массивы?
Трайбор
sdd3 и sdc2
Трайбор
машина на руках?
Трайбор
онлайн? в дауне?
Трайбор
вроде машина в ДЦ, ты рядом или как?
blkmrkt
онлайн? в дауне?
Машина в дц, ос не загружается, я с livecd забутился
Трайбор
Через ipmi
ну да, считай что рядом
blkmrkt
Угу
Трайбор
сама она совсем не грузится?
Трайбор
вот поэтому следует выделять под / отдельный массив уровня зеркало
blkmrkt
сама она совсем не грузится?
Грузится в какую-то эфемерную файловую систему, тк не может считать что-то там с диска
blkmrkt
Щас скрин найду выше
Трайбор
странно это
Трайбор
короче, смысл простой
Трайбор
у тебя сейчас в каждом массиве по 5 участников
Трайбор
всего 3 массива
Трайбор
на 2 массивах из 3 вылетело по 1 участнику
Трайбор
бери по-порядку
Трайбор
берем один
blkmrkt
Вот скрин после ребута
Трайбор
у него 5 участиков, но один из них имеет статус F
Трайбор
так вот, его надо сделать remove
Трайбор
а потом обратно добавить
Nikolay
дичь
Трайбор
ничего не надо форматировать и переразбивать
blkmrkt
так вот, его надо сделать remove
вроде то же самое суппорт из дц и делал
Трайбор
после надо дать ему засинкаться
blkmrkt
Вот скрин после ребута
я вот не понимаю почему /sbin/init на пике отсутсвует, это ж софтвер раид под контролем ОС, это как яйцо или курица
Трайбор
точно там никто ничего не переразбивал и не форматировал?
Трайбор
я сразу не увидел, там же разделы на разных дисках выпали
Трайбор
если кто-нибудь форматнул один из дисков, то один из массивов гарантированно сдох
Трайбор
потому что 1 раздел фейл + 1 раздел на форматнутом диске = 2 участника рейда