у нас файлы весом в кб и их там миллиарды
почему мелкие такие?
Anonymous
Anonymous
у меня срезы были аккаунтинга и netflow посуточно.
Anonymous
в архивах, естественно.
Anonymous
все коробки экспортировали каталоги на одну vm по nfs.
Anonymous
просто реально страшно таких объёмов делать хранение на распределённых решениях.
Anonymous
2-3 ноды полетят одновременно и привет.
Gleb
у нас нод больше ста уже
Gleb
но всё равно стрёмно
Anonymous
но я делал решение для реально холодных данных и без прекеша для горячих.
Gleb
по хорошему на 30 пб цефа надо под тысячу нод :) но это уже можно купить нормальную схд
Anonymous
и там выгрузка данных по запросу и кастомер мог подождать пару часов-денёк рабочий.
Anonymous
Gleb
так нормально если можно себе такое позволить
Anonymous
зато получалось мегадешёво на 2U коробках supermicro и 3.5" HDD
Anonymous
собственно, что и нужно для хранения ненужных компании холодных данных.
Anonymous
на ленты и то дороже получалось.
Gleb
ну у нас тоже бюджетно :D 4U cупермикра суперсевер в каждой до 500 теров :D
Anonymous
и дольше
Anonymous
Gleb
если коробка вылетает при количестве серверов меньше сотки в кластере начинается веселуха
Anonymous
ну спереди и сзади бэи. да?
Anonymous
или это с полкой уже?
Gleb
там насквозь диски загружаются как то
Gleb
ща найти попробую
Gleb
не супервервер, а суперсторадж наверное
Gleb
https://www.supermicro.com/products/system/4U/6048/SSG-6048R-E1CR60N.cfm
Gleb
типа таких
Anonymous
вот superstorage скорее, ага.
Anonymous
то есть вертикальные, ок
Gleb
дешего и сердито, считай можно 600 тб в коробку поставить
Anonymous
как backblaze коробки.
Gleb
ну кстати да
Anonymous
или moonshoot
Anonymous
или полки у huawei :)
Gleb
ток у тех наврное попродуманнее
Gleb
тогда логирование на максимум, ну пока без дебага и логи смотреть чё во время отвалов происходит
Gleb
но мы подобное ловили на куче мелких файлов, отказаться пришлось
Roman
со стороны сервера нихуя
Roman
rpcdebug вовсю там уже пол года смотрят
Roman
ничего не видят подозрительного
Gleb
ну как вариант посмотреть весь ченджлог начиная с твоей версии центоса, у тебя капец какая не свежая версия
Roman
ну оно когда-то деплоилось и работает
Roman
а потом вот начало выебыватся
Roman
приложуха настолько критичная что её каждый раз просто воркараундом ебашат, лишь бы работало
Roman
ибо даунтаймы очень критичны
Roman
любые
Gleb
так может вообще проблемы не в по, в тупую посмотри чё вообще с памятью, если там ecc можно стату глянуть
Gleb
если реально "никто ничего не трогал" и вдруг сломалось :D
Roman
сервак ок, никаких висов
просто когда приложуха не может прочитать файлик на шаре
Roman
начинается ппц, рестартишь нфс, ремаунтишь - и снова можем читать
Gleb
ну такое знаешь, всё равно я бы и память потестил и саму фс, но этой адские даунтаймы нужны
Roman
:(
Roman
в этом и пичаль
Roman
никто не может сделать аццкий даунтайм
они щас крутят мониторинг что б быстрее находить когда оно вешается
Gleb
на фоне всего этого стоит убедить что нужен резерв и сделать такой же сервачёк
Roman
типо что б дольше 5-ти минут не валялось
Roman
да с резервами проблем нет, есть проблема с самой шарой
с пачкой древних ОС и с тем что даунтаймы нереально критичны
Anonymous
nfs как бы софт.
Anonymous
и попытка гонять через rpc большие объёмы данных может приводить к дедлокам внутри софта.
Roman
не большие
Roman
внутри рамдиска особо не поганяешь)))
Anonymous
я такое встречал на старых el6, когда делал file engines из x86 для p2000g3
Unsupported
Anonymous
я такое встречал на старых el6, когда делал file engines из x86 для p2000g3
там netbackup media фигачил по nfs на них по 9к байт.
Anonymous
и иногда nfs просто залипал на ровном месте.
Anonymous
ремаунт и всё снова ок.
Roman
ремаунт без рестарта nsfd вроде как не спасал
Anonymous
ну я делал umount -lf и снова просто mount
Anonymous
и, вроде, спасало.
Roman
ну я переспрошу
Anonymous
вообще, можно посмотреть нищебродские альтернативы для nfs.
Anonymous
какие-нибудь aoe/iscsi/nbd.
Anonymous
блочные.
Roman
а