ребятки, если монтировать 2 диска на отду точку монтирования получается загруженные в нее файлы дублируются по дискам?

а так вообще можно?

не знаю, я хочу сделать одну папку для загрузки файлов, но чтобы не дублировалось

ребятки, если монтировать 2 диска на отду точку монтирования получается загруженные в нее файлы дублируются по дискам?

Нет

физ дисков 4, а держать одну папку для загрузки файлов лечге с программной стороны

Последний смонтированный перекрывает все нижележащие

Но есть какая-то FUSE-прилада, которая умеет федерацию дисков делать

Название не помню

Последний смонтированный перекрывает все нижележащие

проще всего будет монитрировать каждый диск на отдельную папку и вести свой реестр загруженных файлов?

о, кстати, у меня вопрос есть забавный

проще всего будет монитрировать каждый диск на отдельную папку и вести свой реестр загруженных файлов?

ну чтобы отдавать клиенту потом

проще всего будет монитрировать каждый диск на отдельную папку и вести свой реестр загруженных файлов?

то есть хранилище без дублирования поверх нескольких папок?

то есть хранилище без дублирования поверх нескольких папок?

канечно, очень желательно, мне же место нужно

канечно, очень желательно, мне же место нужно

я просто не очень понял, почему именно несколько директорий? ты хочешь по нескольким дискам размазать их?

почему бы просто не сделать раздел через lvm конкретно под загрузки?

Теперь я вообще что-либо перестал понимать

почему бы просто не сделать раздел через lvm конкретно под загрузки?

погуглю что это, моя задача 4 физ дизка использовать под загрузку, и программно было бы проще держать для этого одну папку upload^ те вопрос в том куда монтировать каждый диск

чтобы конечно один файл не дублировался на 4 диска

а приблуда, которую упоминал Алекс, видимо, вот - https://romanrm.net/mhddfs

еще есть вот такая штука https://www.fsl.cs.sunysb.edu/project-unionfs.html

но вообще LVM - тоже выход в целом

самый простой

да, наверн LVM то что мне нужно, по производительности надеюсь гуд

о, кстати, у меня вопрос есть забавный

а вопрос такой - есть нода, на ней большой текстовый файл. Есть несколько (десяток) воркеров, файл надо разрезать построчно на равные куски и залить кусок независимо на каждый воркер. Я сейчас это делаю комбинацией head+tail, которая ползет по файлу и подает на вход ssh, который его сбрасывает в файл на удаленной стороне. Как можно то же самое сделать красивее? А то Ansible умеет в assemble, но не умеет в split, а башевый split не подходит, так как пишет на диск.

чтобы конечно один файл не дублировался на 4 диска

Через nginx загрузка или что это вообще?

Через nginx загрузка или что это вообще?

да, чисто это сервер для отадчи файлов с одним ngnix

Для приёма файлов мб?

И нужно развести 4 диска на один mount point?

и загрузки и отдачи и даже проксирования видеофалов, но конекретно задача стала как упправлять диском и где будет главная папка для хранения файлов

И нужно развести 4 диска на один mount point?

да

Зачем одна папка? Внутри папки могут быть другие папки?

Lvm тогда. Он не бьёт по производительности

4 физ диска, одна папка upload/дальше идет структура чтобы не хранить кучу файлов в одной директории типа upload/2017/01/06/файл

Lvm тогда. Он не бьёт по производительности

ок, я записал себе, ознакомлюсь

спс. собираю инфу прост, с чего начать, тк делать придется

Lvm тогда. Он не бьёт по производительности

+

4 физ диска, одна папка upload/дальше идет структура чтобы не хранить кучу файлов в одной директории типа upload/2017/01/06/файл

Зачем так?

а вопрос такой - есть нода, на ней большой текстовый файл. Есть несколько (десяток) воркеров, файл надо разрезать построчно на равные куски и залить кусок независимо на каждый воркер. Я сейчас это делаю комбинацией head+tail, которая ползет по файлу и подает на вход ssh, который его сбрасывает в файл на удаленной стороне. Как можно то же самое сделать красивее? А то Ansible умеет в assemble, но не умеет в split, а башевый split не подходит, так как пишет на диск.

Filebeat какой?

погуглю что это, моя задача 4 физ дизка использовать под загрузку, и программно было бы проще держать для этого одну папку upload^ те вопрос в том куда монтировать каждый диск

Что будет если 1 диск умрет?

Зачем так?

зачем так что?) 4 диска дает хостинг, струкрута чтобы не нагибать систепу при чтении из папки

Что будет если 1 диск умрет?

неважно, мы кешируем

закрируем заново на новый диск

Raid 0 или 10

зачем так что?) 4 диска дает хостинг, струкрута чтобы не нагибать систепу при чтении из папки

Почему ты думаешь что такая структура сделает лучше?

Filebeat какой?

это не логи, по сути это просто входные данные для обработки

неважно, мы кешируем

Сделай raid0

Почему ты думаешь что такая структура сделает лучше?

имел опыть когда большой списко файлов php cессий нагибал сервер

в одной папке

имел опыть когда большой списко файлов php cессий нагибал сервер

Что именно происходило?

а вопрос такой - есть нода, на ней большой текстовый файл. Есть несколько (десяток) воркеров, файл надо разрезать построчно на равные куски и залить кусок независимо на каждый воркер. Я сейчас это делаю комбинацией head+tail, которая ползет по файлу и подает на вход ssh, который его сбрасывает в файл на удаленной стороне. Как можно то же самое сделать красивее? А то Ansible умеет в assemble, но не умеет в split, а башевый split не подходит, так как пишет на диск.

Написать на каком-нибудь петончике скриптец?

большой список файлов и так нагнёт

Что именно происходило?

тормозило сервер, поднялся loadavarage

А какая вложенность?

/upload/year/month/day/name.file?

Что именно происходило?

после чего просто переименовал папку, и туда перестало писать, все стало норм, пречем это не единый случай

/upload/year/month/day/name.file?

да

это не логи, по сути это просто входные данные для обработки

Тогда может лучше считать количество строк и по ним делить?

да

Очень большое кол-во файлов?

большой список файлов и так нагнёт

ну все так ngnix кеш делает структуру

может не просто так

ну все так ngnix кеш делает структуру

а напрямые ссылки на файл норм бегает, так?

Очень большое кол-во файлов?

в придел размера диска, а 4 диска по 1тб

Тогда может лучше считать количество строк и по ним делить?

так я так и делаю - считаю размер блока, а потом через tail + head иду и пайпом шлю в ssh

но наверняка же есть красивее и проще решение

хотельось бы изначально стойкую систему делать, потому как докупать диску предполагается

в придел размера диска, а 4 диска по 1тб

ssd

Вообщем, у вас всё равно нагнётся и по папкам вы будете ходить долго так или иначе, тут в одном чате, советовали, сделать хеш этих директорий

ERROR: S client not available

так я так и делаю - считаю размер блока, а потом через tail + head иду и пайпом шлю в ssh

Ну, а чего ssh? nc не вариант?

ssd

хотя дешевый sata тоже можно было бы попробовать

для экономии

так я так и делаю - считаю размер блока, а потом через tail + head иду и пайпом шлю в ssh

Ну, у тебя последовательное считывание и последовательная передача. Если файл большой, то лучше замутить многопоточную передачу.

Ну, а чего ssh? nc не вариант?

не получилось, есть пример?

Ну, у тебя последовательное считывание и последовательная передача. Если файл большой, то лучше замутить многопоточную передачу.

да! я полностью согласен, но через gnu parallel у меня с первого захода не получилось

более того, вся эта чехарда - это таска в анзибле, а там надо проверять, что у нас вообще есть parallel, и все такое

cat exmpl | nc host port

На сервере nc -l -p port

да

Каждый readdir() - это 1 seek по диску

cat exmpl | nc host port

не получалось, когда я пробовал. Может, плохо пробовал

сессии в файлах...

Хз. Самый простой способ

я точно на девопс канале?

я точно на девопс канале?

А там разве сессии? Я думал просто файлы

тормозило сервер, поднялся loadavarage

Так на какой операции были тормоза??

сессии в файлах...

ты о чем?

А там разве сессии? Я думал просто файлы

я может что-то не понял, но мне показалось что тут чувак сессии хочет хранить

ты о чем?

^

я может что-то не понял, но мне показалось что тут чувак сессии хочет хранить

Речь шла о данных

я может что-то не понял, но мне показалось что тут чувак сессии хочет хранить

это ты про меня или про Lattrache?

Ну я про вот это вот понял так

имел опыть когда большой списко файлов php cессий нагибал сервер

у меня тупо файлы и тупо скопировать надо

имел опыть когда большой списко файлов php cессий нагибал сервер

а все

Так на какой операции были тормоза??

прогер туда записывал спискок музыкального плейлиста, но по ошибке записыал плейлист с ноль композиция под каждого клиента, в итоге через две недели начались проблемы

кстати это не гуд идея была) и муз раздел уже был закрыт)

потом я смотрю на ngnix кеш организацию и читаю статейки тех кто организует файловые хранилища, вижу что папки организуются в структуру с подпаками чтобы не допускать больших списков в одной директории

потом я смотрю на ngnix кеш организацию и читаю статейки тех кто организует файловые хранилища, вижу что папки организуются в структуру с подпаками чтобы не допускать больших списков в одной директории

у нас была такая же проблема с ceph, на котором файлы для анализа хранились

все работало, но простой ls в каталоге тупо намертво вешал все

я тут хочу напомнить, что по ceph и openstack есть отдельный канал @pro_openstack это так, что бы не размазывалось обсуждение

все работало, но простой ls в каталоге тупо намертво вешал все

так получается при чтении/записи в конкретный файл нет разницы сколько в директории файлов/