не каждый бакенд таким может похвастать

ну вот, наконец-то..

а есои всовывать всякий haproxy/varnish вместо nginx получится то же самое, только не nginx

с чего бы вдруг? ещё nginx неплох как кеш. опять же, для статики.

у тебя сколько статики? у меня - 10Т. как ее раздавать-то чистым nginx?

современное вещание - это раздача файликов по http. количество сил, вложенных в то чтобы nginx работал быстро - огромно и я не готов проходить этот путь заново.

что такое “быстро”?!

у тебя сколько статики? у меня - 10Т. как ее раздавать-то чистым nginx?

а в чем проблема? если мерить у кого больше, но у меня будет всяко больше, потому архивов видео у меня под 100Тб :)

в таких случаях либо молчат по поводу, либо подготавливают статью с описанием

Ну щас-на

что такое “быстро”?!

быстро - это значит что он не умрёт на 10к клиентов, что он знает о механизмах для readahead и проч-проч.

а в чем проблема? если мерить у кого больше, но у меня будет всяко больше, потому архивов видео у меня под 100Тб :)

Порно сайт?)

народ, а чем, кстати, порно сейчас обычно раздают? :-) там ведь статики много

думаю, там спецы по статике

ну а нетфликс, например, на базе nginx что-то там себе сделал тоже

Порно сайт?)

нет. просто пишем на диск всё видео за пару недель с более сотни тв-каналов.

быстро - это значит что он не умрёт на 10к клиентов, что он знает о механизмах для readahead и проч-проч.

у меня мои бекенды и на 1М клиентов не умирают, и никаких специальных усилий я к этому не прикладываю

у меня мои бекенды и на 1М клиентов не умирают, и никаких специальных усилий я к этому не прикладываю

ну так а что там говорит iostat?

молчит - я же не видео раздаю

у меня бизнес-логика и база

народ, а чем, кстати, порно сейчас обычно раздают? :-) там ведь статики много

Так зайди на любой порносайт и посмотри http заголовки. Там nginx

а насчёт спец. усилий - не верю. как минимум, из-за fs.file-max

а насчёт спец. усилий - не верю. как минимум, из-за fs.file-max

о, да….

у меня бизнес-логика и база

ну и какое отношение это имеет к раздаче статики?

никакого

Так зайди на любой порносайт и посмотри http заголовки. Там nginx

вот и я про это же

т.е. можно пойти по пути одноклассников и сделать свой кеш в приложении(точнее, в tmpfs)

но мне кажется этот путь порочным, потому что это фактически переизобретение кучи всего что уже есть в vfs

Ну щас-на

вот вы, вроде бы имеете определённый вес в местной тусне, иной раз доходит до откровенного флюродроса, а ведёте себя как школьник. вы можете обойтись без голословных утверждений и хотя бы кратко пояснить, что не так-то вообще?

вообщем, надо просто понимать где именно nginx будет сиять и что для этого надо написать в конфиг.

кеш в приложениях обычно делают чтобы к базе лишний раз не лазить (если вы про тот кеш, о котором я подумал)

потому что когда у вас даже открытие файла может занять несколько секунд - надо что-то делать.

рома, про read-ahead. в bcache не решает ли эту задачу начисто?

рома, про read-ahead. в bcache не решает ли эту задачу начисто?

нет. и мне страшно думать о размерах ssd под кеш на 100Тб. т.е. если денег много - да, можно обложиться ssd. можно вообще модный ныне allflash и прочее.

нет. и мне страшно думать о размерах ssd под кеш на 100Тб. т.е. если денег много - да, можно обложиться ssd. можно вообще модный ныне allflash и прочее.

я не думаю, что там все 100Т кто-то смотрит

О, а я же тоже могу участвовать в дискуссии. У меня хостинг с 20Т картинок ?

рома, про read-ahead. в bcache не решает ли эту задачу начисто?

bcache может ускорить как раз ситуации, когда у нас dentry cache нету нужной айноды, надо бежать к диску а диск ответит через сотни мс. отсюда и всякие тормоза на open/stat. но nginx эту проблему решает просто кешем недавно открытых файлов.

кеш дескрипторов - не охереть какой рокет-сайнс

но, я повторюсь, статику раздавать пофиг чем, пока ты не раздаешь видео

вот как видео настало - тогда да

тогда только специализированные решения

но и тут сияние nginx как-то подугасло последние годы

кеш дескрипторов - не охереть какой рокет-сайнс

да, верно. в прошлой версии у меня был свой http с fadvise, кешем и всякой эвристикой. потом выкинул нахрен, поставил nginx и дергаю сегменты по http через byte-ranges. получается то же самое, только меньше кода и с кучей плюшек.

как бонус, я могу теперь в другой точке поставить арендованную тачку с несколькими дисками и ssd, воткнуть туда nginx и кешировать.

а nginx будет сам ходить к бэкенду, сам кешить итп.

про кеши - можно делать три уровня - оперативка, SSD, HDD, зависит от задач

но и тут сияние nginx как-то подугасло последние годы

нуу... то что сделали в freebsd мне нравится. по большей части нравится и мне этого несколько не хватает в nginx.

про кеши - можно делать три уровня - оперативка, SSD, HDD, зависит от задач

да, верно. но тут я могу иметь мастер-площадку в праге и несколько зеркал в какой-нибудь уганде. и на уганде осядет только то что реально люди смотрят.

вообщем, в юниксах большая беда с раздачей чего-то большого с диска.

О, а я же тоже могу участвовать в дискуссии. У меня хостинг с 20Т картинок ?

а где вы их храните? и как обеспечиваете отказоустойчивость?

На HDD.

Raid 1.

nginx

а где вы их храните? и как обеспечиваете отказоустойчивость?

лучше расскажи про своё хранилище.

ну я про него уже 3 раза на разных конфах рассказывал

надоело…

да, верно. но тут я могу иметь мастер-площадку в праге и несколько зеркал в какой-нибудь уганде. и на уганде осядет только то что реально люди смотрят.

в праге пишут 100 эфирных каналов? но зачем?

Raid 1.

и когда он падает, вы что делаете?

Что значит падает

Когда одному из дисков пизда?

кстати

насчет чем крутиьт пых бех нжинкса

Когда одному из дисков пизда?

и его заменили, и идет восстановление, и тут еще одному пизда

20Тб это немного же - можно в один сервер запихнуть, если hdd. а два сервера поставить - вот уже и отказоустойчивость

Я разбираю его и раздаю статику с одного диска, попутно вставляя новый диск

в праге пишут 100 эфирных каналов? но зачем?

человек приходит домой вечером. видит, что днем шло что-то интересное по тв - включает, смотрит. та же самая фигня с тв-матчами и прочим. вообщем, ты смотришь в удобное тебе время.

20Тб это немного же - можно в один сервер запихнуть, если hdd. а два сервера поставить - вот уже и отказоустойчивость

синхронизировать эти два сервера как?

синхронизировать эти два сервера как?

rsync? надо только ему кормить список свежезалитых файлов, чтобы он с ума не спятил всё файло лопатить

и его заменили, и идет восстановление, и тут еще одному пизда

А у вас высшее образование есть? Ну без шуток. Там есть такой предмет - теорвер.

ERROR: S client not available

rsync? надо только ему кормить список свежезалитых файлов, чтобы он с ума не спятил всё файло лопатить

теория? или пробовали?

предположение

практически - не живет.

А у вас высшее образование есть? Ну без шуток. Там есть такой предмет - теорвер.

я такое ловил

5й рейд

да все такое ловили. теорвер как раз нам и говорит, что это будет случаться постоянно

Ну если вы пихаете в рейд диски одного года то что ... я могу только посочувствовать

нуу... то что сделали в freebsd мне нравится. по большей части нравится и мне этого несколько не хватает в nginx.

а что там сделали, просветите?

Ну если вы пихаете в рейд диски одного года то что ... я могу только посочувствовать

вот мудрая мысль.

я правильно понял, что когда у вас разваливается это рейд на 20Т вы просто говоритие пользователям “держитесь”?

Ну если вы пихаете в рейд диски одного года то что ... я могу только посочувствовать

вы шутите?

а что там сделали, просветите?

https://events.yandex.ru/lib/talks/2682/

я должен их ездить по разным годам-магазинам заказывать

я правильно понял, что когда у вас разваливается это рейд на 20Т вы просто говоритие пользователям “держитесь”?

Да. Сервис то работает. Они этого даже не заметят

?

CFS появлись потому что рейд не панацея

Да. Сервис то работает. Они этого даже не заметят

тогда нахера эти 20Т на балансе вообще?

?

Ну если вы еще и по магазинам ездите сам то ваще грусть

Ну если вы еще и по магазинам ездите сам то ваще грусть

какая разница кто ездит

вы тз на закупку никогда не составляли?

Разный год выпуска позволяет снизить вероятность выхода из строя второго диска во время замены первого практически к нулю

Смысл спорить. Просто надо не задрачиваться иногда на архитектуру а покурить математику

ну

зачем планировать архитектуру

если знаешь теорвер

Я не говорил что архитектура вообще не нужна. Так что тут передергивать тоже не надо.

да уже поиск дисков с разных партий и годов выпуска уже вполне себе передергивание

да уже поиск дисков с разных партий и годов выпуска уже вполне себе передергивание

нет, он правда прав.

я понимаю что он прав

экстремальный случай - это пара ssd одной серии и модели в raid1

но архитектура в которой разваливается все изза одного слетевшего рейда

мне кажется это звучит грустно