Nikolay Markov
еще есть вот такая штука https://www.fsl.cs.sunysb.edu/project-unionfs.html
Nikolay Markov
но вообще LVM - тоже выход в целом
Nikolay Markov
самый простой
Juan
да, наверн LVM то что мне нужно, по производительности надеюсь гуд
Nikolay Markov
о, кстати, у меня вопрос есть забавный
а вопрос такой - есть нода, на ней большой текстовый файл. Есть несколько (десяток) воркеров, файл надо разрезать построчно на равные куски и залить кусок независимо на каждый воркер. Я сейчас это делаю комбинацией head+tail, которая ползет по файлу и подает на вход ssh, который его сбрасывает в файл на удаленной стороне. Как можно то же самое сделать красивее? А то Ansible умеет в assemble, но не умеет в split, а башевый split не подходит, так как пишет на диск.
Александр
чтобы конечно один файл не дублировался на 4 диска
Через nginx загрузка или что это вообще?
Juan
Через nginx загрузка или что это вообще?
да, чисто это сервер для отадчи файлов с одним ngnix
Александр
Для приёма файлов мб?
Александр
И нужно развести 4 диска на один mount point?
Juan
и загрузки и отдачи и даже проксирования видеофалов, но конекретно задача стала как упправлять диском и где будет главная папка для хранения файлов
Александр
Зачем одна папка? Внутри папки могут быть другие папки?
Yevhenii
Lvm тогда. Он не бьёт по производительности
Juan
4 физ диска, одна папка upload/дальше идет структура чтобы не хранить кучу файлов в одной директории типа upload/2017/01/06/файл
Juan
Lvm тогда. Он не бьёт по производительности
ок, я записал себе, ознакомлюсь
Juan
спс. собираю инфу прост, с чего начать, тк делать придется
Juan
Зачем так?
зачем так что?) 4 диска дает хостинг, струкрута чтобы не нагибать систепу при чтении из папки
Juan
Что будет если 1 диск умрет?
неважно, мы кешируем
Juan
закрируем заново на новый диск
Yevhenii
Raid 0 или 10
Nikolay Markov
Filebeat какой?
это не логи, по сути это просто входные данные для обработки
Juan
Почему ты думаешь что такая структура сделает лучше?
имел опыть когда большой списко файлов php cессий нагибал сервер
Juan
в одной папке
Александр
большой список файлов и так нагнёт
Juan
Что именно происходило?
тормозило сервер, поднялся loadavarage
Александр
А какая вложенность?
Александр
/upload/year/month/day/name.file?
Juan
Что именно происходило?
после чего просто переименовал папку, и туда перестало писать, все стало норм, пречем это не единый случай
Yevhenii
это не логи, по сути это просто входные данные для обработки
Тогда может лучше считать количество строк и по ним делить?
Александр
да
Очень большое кол-во файлов?
Juan
большой список файлов и так нагнёт
ну все так ngnix кеш делает структуру
Juan
может не просто так
Александр
ну все так ngnix кеш делает структуру
а напрямые ссылки на файл норм бегает, так?
Juan
Очень большое кол-во файлов?
в придел размера диска, а 4 диска по 1тб
Nikolay Markov
Тогда может лучше считать количество строк и по ним делить?
так я так и делаю - считаю размер блока, а потом через tail + head иду и пайпом шлю в ssh
Nikolay Markov
но наверняка же есть красивее и проще решение
Juan
хотельось бы изначально стойкую систему делать, потому как докупать диску предполагается
Александр
Вообщем, у вас всё равно нагнётся и по папкам вы будете ходить долго так или иначе, тут в одном чате, советовали, сделать хеш этих директорий
Juan
ssd
хотя дешевый sata тоже можно было бы попробовать
Juan
для экономии
Anonymous
так я так и делаю - считаю размер блока, а потом через tail + head иду и пайпом шлю в ssh
Ну, у тебя последовательное считывание и последовательная передача. Если файл большой, то лучше замутить многопоточную передачу.
Nikolay Markov
Ну, а чего ssh? nc не вариант?
не получилось, есть пример?
Nikolay Markov
более того, вся эта чехарда - это таска в анзибле, а там надо проверять, что у нас вообще есть parallel, и все такое
Yevhenii
cat exmpl | nc host port
Yevhenii
На сервере nc -l -p port
Roman
да
Каждый readdir() - это 1 seek по диску
Nikolay Markov
cat exmpl | nc host port
не получалось, когда я пробовал. Может, плохо пробовал
Vladimir
сессии в файлах...
Yevhenii
Хз. Самый простой способ
Vladimir
я точно на девопс канале?
Yevhenii
я точно на девопс канале?
А там разве сессии? Я думал просто файлы
Roman
тормозило сервер, поднялся loadavarage
Так на какой операции были тормоза??
Nikolay Markov
Vladimir
А там разве сессии? Я думал просто файлы
я может что-то не понял, но мне показалось что тут чувак сессии хочет хранить
Vladimir
Ну я про вот это вот понял так
Vladimir
имел опыть когда большой списко файлов php cессий нагибал сервер
Nikolay Markov
у меня тупо файлы и тупо скопировать надо
Juan
Так на какой операции были тормоза??
прогер туда записывал спискок музыкального плейлиста, но по ошибке записыал плейлист с ноль композиция под каждого клиента, в итоге через две недели начались проблемы
Juan
кстати это не гуд идея была) и муз раздел уже был закрыт)
Juan
потом я смотрю на ngnix кеш организацию и читаю статейки тех кто организует файловые хранилища, вижу что папки организуются в структуру с подпаками чтобы не допускать больших списков в одной директории
Nikolay Markov
все работало, но простой ls в каталоге тупо намертво вешал все
Михаил
я тут хочу напомнить, что по ceph и openstack есть отдельный канал @pro_openstack это так, что бы не размазывалось обсуждение
Juan
все работало, но простой ls в каталоге тупо намертво вешал все
так получается при чтении/записи в конкретный файл нет разницы сколько в директории файлов/