кеш дескрипторов - не охереть какой рокет-сайнс

но, я повторюсь, статику раздавать пофиг чем, пока ты не раздаешь видео

вот как видео настало - тогда да

тогда только специализированные решения

но и тут сияние nginx как-то подугасло последние годы

кеш дескрипторов - не охереть какой рокет-сайнс

да, верно. в прошлой версии у меня был свой http с fadvise, кешем и всякой эвристикой. потом выкинул нахрен, поставил nginx и дергаю сегменты по http через byte-ranges. получается то же самое, только меньше кода и с кучей плюшек.

как бонус, я могу теперь в другой точке поставить арендованную тачку с несколькими дисками и ssd, воткнуть туда nginx и кешировать.

а nginx будет сам ходить к бэкенду, сам кешить итп.

про кеши - можно делать три уровня - оперативка, SSD, HDD, зависит от задач

но и тут сияние nginx как-то подугасло последние годы

нуу... то что сделали в freebsd мне нравится. по большей части нравится и мне этого несколько не хватает в nginx.

про кеши - можно делать три уровня - оперативка, SSD, HDD, зависит от задач

да, верно. но тут я могу иметь мастер-площадку в праге и несколько зеркал в какой-нибудь уганде. и на уганде осядет только то что реально люди смотрят.

вообщем, в юниксах большая беда с раздачей чего-то большого с диска.

О, а я же тоже могу участвовать в дискуссии. У меня хостинг с 20Т картинок 😂

а где вы их храните? и как обеспечиваете отказоустойчивость?

На HDD.

Raid 1.

nginx

а где вы их храните? и как обеспечиваете отказоустойчивость?

лучше расскажи про своё хранилище.

ну я про него уже 3 раза на разных конфах рассказывал

надоело…

да, верно. но тут я могу иметь мастер-площадку в праге и несколько зеркал в какой-нибудь уганде. и на уганде осядет только то что реально люди смотрят.

в праге пишут 100 эфирных каналов? но зачем?

Raid 1.

и когда он падает, вы что делаете?

Что значит падает

Когда одному из дисков пизда?

кстати

насчет чем крутиьт пых бех нжинкса

Когда одному из дисков пизда?

и его заменили, и идет восстановление, и тут еще одному пизда

20Тб это немного же - можно в один сервер запихнуть, если hdd. а два сервера поставить - вот уже и отказоустойчивость

Я разбираю его и раздаю статику с одного диска, попутно вставляя новый диск

в праге пишут 100 эфирных каналов? но зачем?

человек приходит домой вечером. видит, что днем шло что-то интересное по тв - включает, смотрит. та же самая фигня с тв-матчами и прочим. вообщем, ты смотришь в удобное тебе время.

20Тб это немного же - можно в один сервер запихнуть, если hdd. а два сервера поставить - вот уже и отказоустойчивость

синхронизировать эти два сервера как?

синхронизировать эти два сервера как?

rsync? надо только ему кормить список свежезалитых файлов, чтобы он с ума не спятил всё файло лопатить

и его заменили, и идет восстановление, и тут еще одному пизда

А у вас высшее образование есть? Ну без шуток. Там есть такой предмет - теорвер.

rsync? надо только ему кормить список свежезалитых файлов, чтобы он с ума не спятил всё файло лопатить

теория? или пробовали?

предположение

практически - не живет.

А у вас высшее образование есть? Ну без шуток. Там есть такой предмет - теорвер.

я такое ловил

5й рейд

да все такое ловили. теорвер как раз нам и говорит, что это будет случаться постоянно

Ну если вы пихаете в рейд диски одного года то что ... я могу только посочувствовать

нуу... то что сделали в freebsd мне нравится. по большей части нравится и мне этого несколько не хватает в nginx.

а что там сделали, просветите?

Ну если вы пихаете в рейд диски одного года то что ... я могу только посочувствовать

вот мудрая мысль.

я правильно понял, что когда у вас разваливается это рейд на 20Т вы просто говоритие пользователям “держитесь”?

Ну если вы пихаете в рейд диски одного года то что ... я могу только посочувствовать

вы шутите?

а что там сделали, просветите?

https://events.yandex.ru/lib/talks/2682/

я должен их ездить по разным годам-магазинам заказывать

я правильно понял, что когда у вас разваливается это рейд на 20Т вы просто говоритие пользователям “держитесь”?

Да. Сервис то работает. Они этого даже не заметят

?

CFS появлись потому что рейд не панацея

Да. Сервис то работает. Они этого даже не заметят

тогда нахера эти 20Т на балансе вообще?

?

Ну если вы еще и по магазинам ездите сам то ваще грусть

Ну если вы еще и по магазинам ездите сам то ваще грусть

какая разница кто ездит

вы тз на закупку никогда не составляли?

Разный год выпуска позволяет снизить вероятность выхода из строя второго диска во время замены первого практически к нулю

Смысл спорить. Просто надо не задрачиваться иногда на архитектуру а покурить математику

ну

зачем планировать архитектуру

если знаешь теорвер

Я не говорил что архитектура вообще не нужна. Так что тут передергивать тоже не надо.

да уже поиск дисков с разных партий и годов выпуска уже вполне себе передергивание

да уже поиск дисков с разных партий и годов выпуска уже вполне себе передергивание

нет, он правда прав.

я понимаю что он прав

экстремальный случай - это пара ssd одной серии и модели в raid1

но архитектура в которой разваливается все изза одного слетевшего рейда

мне кажется это звучит грустно

я там выше писал про cfs

кстат

Не совсем понял почему архитектура должна развалиться. Второй диск то остается рабочим.

а если он слетит во время ребилда?

опять же

вообще, просто два диска в raid1 это так себе решение, но если данные не очень важны - почему бы и нет?

второй диск? мы же не только про 1й рейд

вообще, просто два диска в raid1 это так себе решение, но если данные не очень важны - почему бы и нет?

а какое лучше на одной машине? про R5/R6 можно не говорить

критический сервис на одной машине это уже не лучшее решение

ну вот я читал про backblaze (облачные бэкапы) - там куча копий на разных нодах

как на 1 машине я не знаю

критический сервис на одной машине это уже не лучшее решение

критический сервис и не должен быть на одной машине. Мы сейчас про одну говорим

ну вот я читал про backblaze (облачные бэкапы) - там куча копий на разных нодах

SDS, ага. В идеале - межрегионно

прелесть бэкблейза в том, что им не надо обеспечивать скорость записи. Канал от пользователя все равно будет медленнее

ага