Сувай в формате HLS в S3

плюсую, делаю абсолютно так

если нужен псевдостриминг mp4 - нужно писать свой стример. в принципе не очень сложно, но HLS удобнее как-то

https://en.wikipedia.org/wiki/HTTP_Live_Streaming - HLS?

да

коллеги, есть ли опыт работы с хранилищами для потокового вещания видео на ceph? Основная проблема - работа с nginx_streaming_mp4 или аналогом, то есть воспроизведение с "нужного места", чтобы не тащить файл целиком

А в чём проблема?

А в чём проблема?

это скорее не проблема а вопрос - будет ли нормально работать, скажем ngx_mp4 в сочетании с S3?

это скорее не проблема а вопрос - будет ли нормально работать, скажем ngx_mp4 в сочетании с S3?

Я не помню, умеет ли s3 в bytes-ranges

Но в любом случае хранить часовой фильм в s3 глупо

Но в любом случае хранить часовой фильм в s3 глупо

а какие есть варианты? cephfs?

Выше писали - hls или dash

у меня специфичный кейс - видео проигрывается в приложении. И можно ссылочку на dash?

Но в любом случае хранить часовой фильм в s3 глупо

Цельным куском может и глупо, а вот нарезать на кусочки (чанки) заданной длины/размера - очень даже можно.

у меня специфичный кейс - видео проигрывается в приложении. И можно ссылочку на dash?

http://mediasat.info/2015/08/25/mpeg-dash/ https://habrahabr.ru/post/204666/

это скорее не проблема а вопрос - будет ли нормально работать, скажем ngx_mp4 в сочетании с S3?

не будет. в нджинксе этот модуль работает на файловой основе.

Я не помню, умеет ли s3 в bytes-ranges

умеет. и сеф умеет.

у меня специфичный кейс - видео проигрывается в приложении. И можно ссылочку на dash?

у нас тот же кейс. hls/dash норм.

http://tracker.ceph.com/issues/19819

Добро пожаловать в редхат. "Я закрою задачу, ибо нехуй"

😆

АХАХАХАХ

А они молодцы

Правда я не понял, нахуя тебе это надо

Как по мне все совершенно верно. Никто это не будет имплементить. Оно слишком сложно, непонятно как совместимо с BS и, например, в дедупом, когда его заимплементят. > Правда я не понял, нахуя тебе это надо ускорить копирование файлов с дырами ,скорее всего

Т.е. смысла накапливать в jira слабообоснованные хотелки без перспектив реализации - IMO не очень. Это захламляет репорты.

Добро пожаловать в редхат. "Я закрою задачу, ибо нехуй"

Купи поддержку и еби им мозги

Купи поддержку и еби им мозги

Ну им тогда придётся просто делать, потому что онзахотел)

+ к ивану - поддержка только для починки багов. Фичи - как повезет

хотя для China Telecom запилили парочку в S3 код :D все зависит от размера поддержки

Это надо читать соглашение

Добро пожаловать в редхат. "Я закрою задачу, ибо нехуй"

Воспринимай, как особенность.

Хочешь предложить им снести завод и построить его заново

Я не понимаю в чём сложность реализации.

ведь когда мы читаем файл — он же узнаёт какие данные в каком объекте хранятся и хранятся ли

дак почему нельзя эту инфу по сути извлекать и выдавать

Нужно пойти и проверить реально есть объект или нет, а также выделенно ли место под конкретную область объекта на диске, потому что у целевого rados объекта тоже отложенная аллокация. Т.е. нужна дополнительная команда в rados протоколе(который стараются держать крайне стабильным), API, CLI, тесты и прочее. При этом смысл от результата не очевиден. А у команды CephFS с головой задач.

И вообще это может быть клон пула или снапшлот

Там жеж везде cow

Нужно пойти и проверить реально есть объект или нет, а также выделенно ли место под конкретную область объекта на диске, потому что у целевого rados объекта тоже отложенная аллокация. Т.е. нужна дополнительная команда в rados протоколе(который стараются держать крайне стабильным), API, CLI, тесты и прочее. При этом смысл от результата не очевиден. А у команды CephFS с головой задач.

погоди-ка. это насчёт fallocate/truncate

а что насчёт FIEMAP ?

есть же где-то инфа о том с каким диапазоном данных из файла связан какой объект

чо трудного то

хоть COW хоть без него

чет косяк какой-то, сделал CephFS, запустил один MDS, с клиента статус виден нормально []# ceph mds stat —name client.cephfs e5: 1/1/1 up {0=ceph-storage1=up:active}

Может я не совсем понял тикет, но сам факт наличия объекта не означает, что объект содержит данные

а примаунтить нихрена не может, error 5 на клиенте

судя по tcpdump у клиента какой-то обмен с MDS есть

в логе MDS ботва: 2017-05-12 14:45:44.781459 7f24a61ac700 1 mds.client.cephfs ms_verify_authorizer: cannot decode auth caps bl of length 0 2017-05-12 14:45:44.781766 7f24a3235700 -1 mds.0.server handle_client_session forbidden path claimed as mount root: / by client.241788 2017-05-12 14:45:44.781801 7f24a3235700 0 log_channel(cluster) log [WRN] : client session with invalid root '/' denied (client.241788 172.16.1.130:0/1232388373)

может каких-то капсов не хватать конкретно на CephFS? капсы на OSD я выдавал

коллеги а можете подсказать почему может быть проблема с ceph. вывод вот такой 2017-05-12 15:05:43.362233 7fe5f8108700 0 -- :/3624663244 >> 192.168.1.2:6789/0 pipe(0x7fe5f4062550 sd=3 :0 s=1 pgs=0 cs=0 l=1 c=0x7fe5f405f4c0).fault

ceph daemon {daemon-name} config show | less при такой команде вывод вот такой Can't get admin socket path: unable to get conf option admin_socket for {daemon-name}: error parsing '{daemon-name}': expected string of the form TYPE.ID, valid types are: auth, mon, osd, mds, client

ceph daemon {daemon-name} config show | less при такой команде вывод вот такой Can't get admin socket path: unable to get conf option admin_socket for {daemon-name}: error parsing '{daemon-name}': expected string of the form TYPE.ID, valid types are: auth, mon, osd, mds, client

Ceph mon запущен?

Ceph mon запущен?

Все разобрался.просто место на / заканчивалось

Спасибо большое

Все разобрался.просто место на / заканчивалось

а ведь старая тетя Немет говорила, что не надо делать один /...

но кто же послушает старую мудрую тетку

Старая тетя не говорила ставить на такие вещи алерт в мониторинг?)

Старая тетя не говорила ставить на такие вещи алерт в мониторинг?)

про мониторинг старая тетя тоже довольно много писала. Так же, как и сравнительно молодой гей (Том Лимончелло).

Да и про квоты

Молодые бойцы просто недавно тут и старую тетя еще не слушали.Так что сильно не пинайте.

про мониторинг старая тетя тоже довольно много писала. Так же, как и сравнительно молодой гей (Том Лимончелло).

лимончелли молодой?..

Может я не совсем понял тикет, но сам факт наличия объекта не означает, что объект содержит данные

Ну окей. Тогда размер этого объекта нужно брать

Может я не совсем понял тикет, но сам факт наличия объекта не означает, что объект содержит данные

В нафига такой объект ? И как он появился ?

Как вобще можно посмотреть в каких объектах хранится цеффсный файл ? Допустим я инфу восстанавливаю после катастрофы

объект размером в 4M, а записать могли в последние 4k. При этом размер его на FS будет 4M

объект размером в 4M, а записать могли в последние 4k. При этом размер его на FS будет 4M

Меня устроит

а точный размер данных не хранится

Это нормально. Как и в ext3. Там тоже кластер есть кагбе

Как и в фат32

Если в экст3 заюзан один байт, то на диске заюзан, сКажем 4к или больше

Ок, но это не отменяет того, что все это нужно заимлементить, добавить в протокол. А обоснования в тикете нет, только "я хочу". Стоит обосновать причину, показать применения.

Ок, но это не отменяет того, что все это нужно заимлементить, добавить в протокол. А обоснования в тикете нет, только "я хочу". Стоит обосновать причину, показать применения.

Я все написал

Прост аффтар посчитал это нинужностью и закрыл

Бесет

http://ceph.com/development-page/

Отлично

Чот мне кажется там у них 1.5 землекопа в разработчиках

лимончелли молодой?..

ну Неметт точно старше :)

Решил попробовать OpenAttic

И ОПЯТЬ И ОПЯТЬ