Viktor
Порридж В Ко-ливинге
Bartsev
Viktor
лол https://www.youtube.com/watch?v=b-VCzLiyFxc
Viktor
надо срочно предзаписать себя и пустить видос на митингах пока программируешь, гениально
Dmitry
Привет! Есть вопрос по system design. Читал про как сделать youtube/netflix и там сказано, что видео хранятся в hdfs. Неужели hdfs подходит для таких нагруженных low-latency систем? вроде как у hdfs на любое действие нужно бывает несколько секунд чтобы его запустить.
Viktor
Хороший вопрос. А что за статья? Есть вероятность, что часто запрашиваемые видосы хранятся в кеше, а hdfs нужен просто чтобы можно было хранить столько данных, но работать с файлами как с файлами.
Dmitry
в grokking, да, кэш есть, но все равно часть нагрузки будет на hdfs ложиться
Dmitry
Ну а с другой стороны, какие еще есть подходящие хранилища для видео ?
Dmitry
s3 в моем понимании для малых файлов больше подходит (фоток например)
Viktor
есть ещё вероятность, что это просто выбор потому что apache. опен-сорс, все дела. какие ещё есть файловые системы распределённые?
Viktor
удобно приводить в пример hdfs в грокинге потому что он типа общеизвестный и опенсорсный.
Viktor
можно ещё efs сказать 😉
Viktor
https://aws.amazon.com/efs/
Viktor
ахаха. нативочка.
Dmitry
Да, это понятно, google file system наверное еще жив
Dmitry
Но принцип работы у них наверное один
Viktor
ага, так и есть. на википедии есть ещё сравнительная таблица разных решений.
Dmitry
А какой в целом сценарий работы? Если забыть про кэш, то application server идет в hdfs и полностью скачивает файл?(или не полностью?) и после этого по частям отдает ответ клиенту?
Viktor
Хороший вопрос насчет полностью или не полностью, там ж стриминг есть.
Dmitry
там это где ?))
Serge
Dmitry
что за grokking?
https://www.educative.io/courses/grokking-the-system-design-interview
Viktor
наверное, логично нарезать 2 часовой видос чанками и так же их раздавать
Dmitry
hdfs хранит по 128 мб блоки
Viktor
тем более. по 128 метров и нарезать тогда. application server говорит «а дай мне кусок с 3 минуты» и скачивает 128 метров блок. не уверен на счёт именно 128 метров, много это или мало.
Dmitry
А как организуется стриминг со стороны application сервера?
Dmitry
что за grokking?
У меня он был куплен, я переконвертировал странички в пдф, могу скинуть )) там немного убого иногда разметка наезжает, но в целом читаемо
Viktor
во, даже картинки какие-то нашёл
Viktor
Dmitry
я так понимаю на бэке для этого специальные либы должны быть
Viktor
а, понял. сам стриминг насколько я понимаю работает через специальный протокол поверх http
Serge
Viktor
куча либ, конечно же, есть, которая протокол реализует
Viktor
https://en.wikipedia.org/wiki/HTTP_Live_Streaming
Viktor
может что-то такое?
Dmitry
Да, вероятно ))
Порридж В Ко-ливинге
А может кто знает, какие еще файлы запускаются при старте bash?
Порридж В Ко-ливинге
Кроме ./.bash_profiler и /etc/paths
Dmitry
Кстати, хочу поделиться результатом, если кому то интересно. Смог намутить себе собесы в booking, spotify, yelp, farfetch . Тяжеловато из-за английского бывает, но ничего ))
Viktor
Serge
Viktor
Dmitry
Ищу только в Европе. Сначала отсылал просто на сайте, так только фарфетч откликнулся, остальные игнорили, пришлось мучать людей на линкдине )) без рефералок особо не отвечают в общем )
Порридж В Ко-ливинге
Dmitry
system design
Dmitry
оххх, я наспамил, возможно лучше архив было кинуть))
Порридж В Ко-ливинге
Ой ой ой ой ой
Dmitry
архивом кину)
Serge
Dmitry
Dmitry
На стыке страниц просто это вот так выглядит ))
Serge
👍
Порридж В Ко-ливинге
Спасибо
Serge
Понял, Хэкеров здесь нет 🤣
я не хакер, я загуглил https://unix.stackexchange.com/questions/334382/find-out-what-scripts-are-being-run-by-bash-on-startup
Порридж В Ко-ливинге
Порридж В Ко-ливинге
Правильный ответ /etc/paths.d/
Viktor
Порридж В Ко-ливинге
Странно, неужели НИКТО из 5 человек которые тут сидели, не пользовался /etc/paths.d/ ?
Порридж В Ко-ливинге
Я вот сколько нагуглил, path меняется в основном в ~/.bash_profiler, /etc/paths и /etc/paths.d
Viktor
Viktor
расскажи лучше какую задачу решаешь
Порридж В Ко-ливинге
А я не PATH экспортил, а $PATH, вот и ошибка 🤣
Порридж В Ко-ливинге
Я пока от литкода, до того, пока Яндекс контест не закончится – отдыхаю
Viktor
продолжай задавать вопросы «зачем?» и подниматься на более высокий уровень абстракции, уже почти стало понятно что делаешь
Порридж В Ко-ливинге
Порридж В Ко-ливинге
Я вот думаю в JS коде запустить bash script
Viktor
какую боль клиента решаешь? 😊
Viktor
Viktor
почему бы сразу на баше не писать тогда
Порридж В Ко-ливинге
Порридж В Ко-ливинге
какую боль клиента решаешь? 😊
Спарсить финансовые отчетности и прогнать через формулы чтобы найти оптимальные компании которые можно вкладывать
Порридж В Ко-ливинге
Ищем по экономическому РВУ (типо, чем компания более монополистична, тем больше ров)