Juan
?
Nikolay Markov
так получается при чтении/записи в конкретный файл нет разницы сколько в директории файлов/
есть разница, в том и дело. После определенного количества файлов в каталоге такая канитель начинается
Nikolay Markov
backend для openstack из каропки
так там же swift искаропки, ceph недефолтный еще недавно был
Anonymous
Сессии разве не логичней хранить в Редиске?
Juan
есть разница, в том и дело. После определенного количества файлов в каталоге такая канитель начинается
вот и я о том же, мб поэтому ngnix свой кеш огранизует в подпапки хотябы, с большими данными может и будет глючить, но все же так лучше, когда есть подпаки
Михаил
И своеобразный
Nikolay Markov
Swift местами ебловат
он целиком и полностью ебловат :) и код в нем говно, я видел
Nikolay Markov
но все равно по дефолту он был раньше
Nikolay Markov
ладно, это реально оффтоп для этого канала
Juan
)
Nikolay Markov
Потому что надо знать что делает ls
т.е.? он дергает файловую систему, а что еще?
Roman
т.е.? он дергает файловую систему, а что еще?
По умолчанию он еще сортирует. А чтобы сортировать ему надо сделать stat на каждый файл
Nikolay Markov
Anonymous
Там еще потом можно удивиться, что rm не работает)))
Anonymous
И его нужно через пайпы и xargs юзать
Juan
По умолчанию он еще сортирует. А чтобы сортировать ему надо сделать stat на каждый файл
а если просто общаться к конкретному файлу, кол-во файлов в этой директоии будет иметь значение в плане нагрузки на систему?
Nikolay Markov
И его нужно через пайпы и xargs юзать
ну, это я и так всегда делаю, привычка
Juan
От файлухи зависит, вангую.
мб, в этом же чате рекомендовал object storage
Михаил
Juan
проже свои железки, там bandwidth дорогой
Juan
ну и место тоже не збс
Yevhenii
А трафик у твоего хостера бесплатный?
Juan
А трафик у твоего хостера бесплатный?
это 3 сервера обслуживаются
Nick
ну любой хостер может дать цену раз в 12 ниже AWS, это правда
Nick
на трафик
Juan
например
Nick
да тысячи их. у нас capacity сетевого терабиты, я хорошо знаю цены :)
Nick
но 5000 за 31 гигабит - это тоже перебор с другой стороны. Там будет всякий трешачок типа Cogent и похожего :)
Roman
Зачем?
Тебе надо знать абсолютный путь к файлу
Anonymous
Тебе надо знать абсолютный путь к файлу
Он же хранится в метаданных файлухи.
Nikolay Markov
Он же хранится в метаданных файлухи.
а метаданные где? в индексе
Anonymous
а метаданные где? в индексе
Я решил, что он имеел ввиду какой-то собственный индекс.
Nikolay Markov
Я решил, что он имеел ввиду какой-то собственный индекс.
это мы про устройство объектных хранилищ тут рассуждали
Juan
Но тебе надо иметь индекс всех файлов
да, главный сервер и будет отдавать клиенту ссылку на файл
Juan
там и есть бд файлов
Juan
на редисе
Juan
и в mysql как для подсраховки на случай если редис потеряет данные
Dmitry
Потому что надо знать что делает ls
Да, неплохо знать про readdir и вот это все
Anonymous
Держать свой собственный индекс накладно же.
Anonymous
Почему?
1. Это уже делает файлуха. 2. Если речь о миллионах файлов, то актуальность данных придется регулярно пересчитывать, так как у тебя нет никакой гарантии, что кто-то не полез и не внес изменения ручками.
Anonymous
Оптимально, как тут уже писали, иметь файловую структуру такой, что никакие собственные индексы хранить не нужно. Типо /2017/01/06/однозначный_признак.расшрение
Juan
1. Это уже делает файлуха. 2. Если речь о миллионах файлов, то актуальность данных придется регулярно пересчитывать, так как у тебя нет никакой гарантии, что кто-то не полез и не внес изменения ручками.
1. индекс файлухи как то управляемый программно? а если нужен один сервер который происзводит запись/удаление файлов (управление файлами), то откуда ему знать что там в файлухе другого сервера) 2. бд индекс знает где что лежит, а если кто-то это сможет сделать то это пиздец полный, тут прокол в безопасности чтоли скорее
Anonymous
Что?
Juan
конкретно в моем случае требуется записись файлов которые часто запрашиваются из стороннего апи (а они проксируются), такую инфу меряет одни главный сервер (с учетом балансироки на серверы), и при передачи клиенту ссылки на файл (на свой другой сервер) отдает параметр сохранить это видео, а себе на главный записывает мол такой-то файл лежит на 6ом сервере
Juan
поэтому отказаться от собственных индексов, имея их на серверах отдачи просто негибко
Roman
Вы что-то слышали про dentry cache?
Juan
будет такая неуправляемость и расбалансировака что пиздец
Juan
но посмотю
Anonymous
Вы что-то слышали про dentry cache?
Ты давай обоснуй свой фейспалм для начала
Juan
Вы что-то слышали про dentry cache?
монтировать папку для кеша сразу на удаленный сервер, да тоже идея
Juan
inode хватит?
Anonymous
Разве это будет считаться кешем?
Juan
Разве это будет считаться кешем?
если получиться записать удаленно файл то мы запишем что файл такой-то есть на сервер n
Juan
в редис в бд, куда угодно
Anonymous
если получиться записать удаленно файл то мы запишем что файл такой-то есть на сервер n
А причем тут кеш? Ты по сути хранить начинаешь метаданные о файле во всяких редисках.
Juan
главный сервер отвечает ссылкой, задача сервера отдачи отдать/принять команду закешить себе в пакпку указанную главным сервером
Juan
А причем тут кеш? Ты по сути хранить начинаешь метаданные о файле во всяких редисках.
именно mp4 файлы и буду хранить на сервере отдачи, главный сервер тольк должен знать где конкретный путь где храниться файл
Juan
ф
Anonymous
именно mp4 файлы и буду хранить на сервере отдачи, главный сервер тольк должен знать где конкретный путь где храниться файл
Ок. Некий сторедж хранит у себя данные, где конкретно лежит файл. Нода с файлом отваливается по сферическим причинам. Дальнейшие действия, дабы не потерять производительность?