Viktor

Welcome back 🤣

Спасибки 🙂

Порридж В Ко-ливинге

Happy Monday! 👋 Задача этой недели — расстановка N ферзей на шахматной доске. Классическая задача на backtracking. https://vitkarpov.me/posts/n-queens/

Щас буду сам эту задачку решать

Bartsev

Happy Monday! 👋 Задача этой недели — расстановка N ферзей на шахматной доске. Классическая задача на backtracking. https://vitkarpov.me/posts/n-queens/

👍

Viktor

лол https://www.youtube.com/watch?v=b-VCzLiyFxc

Viktor

надо срочно предзаписать себя и пустить видос на митингах пока программируешь, гениально

Dmitry

Привет! Есть вопрос по system design. Читал про как сделать youtube/netflix и там сказано, что видео хранятся в hdfs. Неужели hdfs подходит для таких нагруженных low-latency систем? вроде как у hdfs на любое действие нужно бывает несколько секунд чтобы его запустить.

Viktor

Хороший вопрос. А что за статья? Есть вероятность, что часто запрашиваемые видосы хранятся в кеше, а hdfs нужен просто чтобы можно было хранить столько данных, но работать с файлами как с файлами.

Dmitry

в grokking, да, кэш есть, но все равно часть нагрузки будет на hdfs ложиться

Dmitry

Ну а с другой стороны, какие еще есть подходящие хранилища для видео ?

Dmitry

s3 в моем понимании для малых файлов больше подходит (фоток например)

Viktor

есть ещё вероятность, что это просто выбор потому что apache. опен-сорс, все дела. какие ещё есть файловые системы распределённые?

Viktor

удобно приводить в пример hdfs в грокинге потому что он типа общеизвестный и опенсорсный.

Viktor

можно ещё efs сказать 😉

Viktor

https://aws.amazon.com/efs/

Viktor

ахаха. нативочка.

Dmitry

Да, это понятно, google file system наверное еще жив

Dmitry

Но принцип работы у них наверное один

Viktor

ага, так и есть. на википедии есть ещё сравнительная таблица разных решений.

Dmitry

А какой в целом сценарий работы? Если забыть про кэш, то application server идет в hdfs и полностью скачивает файл?(или не полностью?) и после этого по частям отдает ответ клиенту?

Viktor

Хороший вопрос насчет полностью или не полностью, там ж стриминг есть.

Dmitry

там это где ?))

Serge

в grokking, да, кэш есть, но все равно часть нагрузки будет на hdfs ложиться

что за grokking?

Viktor

там это где ?))

в сервисе, который проектируем

Dmitry

что за grokking?

https://www.educative.io/courses/grokking-the-system-design-interview

Viktor

наверное, логично нарезать 2 часовой видос чанками и так же их раздавать

Dmitry

hdfs хранит по 128 мб блоки

Viktor

тем более. по 128 метров и нарезать тогда. application server говорит «а дай мне кусок с 3 минуты» и скачивает 128 метров блок. не уверен на счёт именно 128 метров, много это или мало.

Dmitry

А как организуется стриминг со стороны application сервера?

Dmitry

что за grokking?

У меня он был куплен, я переконвертировал странички в пдф, могу скинуть )) там немного убого иногда разметка наезжает, но в целом читаемо

Viktor

во, даже картинки какие-то нашёл

Viktor

Dmitry

я так понимаю на бэке для этого специальные либы должны быть

Viktor

а, понял. сам стриминг насколько я понимаю работает через специальный протокол поверх http

Serge

У меня он был куплен, я переконвертировал странички в пдф, могу скинуть )) там немного убого иногда разметка наезжает, но в целом читаемо

скинь пожалуйста. почитаю через пару лет, как литкод дорешаю 😂

Viktor

куча либ, конечно же, есть, которая протокол реализует

Viktor

https://en.wikipedia.org/wiki/HTTP_Live_Streaming

Viktor

может что-то такое?

Dmitry

Да, вероятно ))

Viktor

скинь пожалуйста. почитаю через пару лет, как литкод дорешаю 😂

лол. «через пару лет» — знакомая история 😃 сколько задач решил уже?

Порридж В Ко-ливинге

А может кто знает, какие еще файлы запускаются при старте bash?

Порридж В Ко-ливинге

Кроме ./.bash_profiler и /etc/paths

Dmitry

Кстати, хочу поделиться результатом, если кому то интересно. Смог намутить себе собесы в booking, spotify, yelp, farfetch . Тяжеловато из-за английского бывает, но ничего ))

Serge

лол. «через пару лет» — знакомая история 😃 сколько задач решил уже?

чуть больше ста, но это за последние два года и нерегулярно. сейчас стараюсь хотя бы пару в неделю разобрать

Viktor

Кстати, хочу поделиться результатом, если кому то интересно. Смог намутить себе собесы в booking, spotify, yelp, farfetch . Тяжеловато из-за английского бывает, но ничего ))

огонь! делись как намутил? 😊

Serge

Кстати, хочу поделиться результатом, если кому то интересно. Смог намутить себе собесы в booking, spotify, yelp, farfetch . Тяжеловато из-за английского бывает, но ничего ))

booking набирает? вроде же сокращения были

Viktor

чуть больше ста, но это за последние два года и нерегулярно. сейчас стараюсь хотя бы пару в неделю разобрать

мне помогала табличка в экселе, чтобы трекать прогресс. с геймификацией оно веселее идёт.

Dmitry

Ищу только в Европе. Сначала отсылал просто на сайте, так только фарфетч откликнулся, остальные игнорили, пришлось мучать людей на линкдине )) без рефералок особо не отвечают в общем )

Порридж В Ко-ливинге

А может кто знает, какие еще файлы запускаются при старте bash?

Понял, Хэкеров здесь нет 🤣

Dmitry

system design

Dmitry

оххх, я наспамил, возможно лучше архив было кинуть))

Порридж В Ко-ливинге

Ой ой ой ой ой

Dmitry

архивом кину)

Serge