Vladimir
удаленнный дц или нет
One
Можно подумать, консоль как-то исключает другие средства
Vladimir
Можно подумать, консоль как-то исключает другие средства
не исключает конечно, просто не очень понятно зачем держать на каждой стойке такую хреноту, когда хватает одного переносного на складе на случай мегаписеца
One
удаленнный дц или нет
в удаленном дц персонал прицепит похожую консоль, логи с нее тебе скинет, было такое, когда сетевая выгорела
Vladimir
сервер пропал - пусть люди в ДЦ локально его вынут, заменят, а потом играются
Vladimir
у них там обычно и стенды
Dmitry
я думал там давно ipmi/ilo/idrac и прочие, лет 20 как
ovh, hetzner, да и другие тем не менее их юзают
Vladimir
ovh, hetzner, да и другие тем не менее их юзают
ох… ну лоукостеры впрочем на десктопном или околодесктопном железе, ага
One
те, кто в облаках не витает =)
One
хотя опять же бармитол облаков не исключает
Vladimir
те, кто в облаках не витает =)
да нет, кто вообще не парится про даже свое железо
Vladimir
а берет всякую каку подешевке
One
можно бармитол свой держать, можно на колокей сунуть, можно дедиков набрать
Vladimir
@Holoview во всяких супермикрах (и я не говорю про более именитых брендов) кажется без ipmi сервер взять это надо уже постараться
Vladimir
то есть “сервер без ipmi” это когда хецнер десктопных i5 пихает в стойку зачем-то )
One
не работает ipmi без сети, вот досада
One
кейсы на консоль, либо при монтаже, либо при авариях, написал же выше
Vladimir
кейсы на консоль, либо при монтаже, либо при авариях, написал же выше
это все проблемы инженеров в ДЦ, а не девопса-сре
One
Узок круг этих революционеров. Страшно далеки они от народа
Vladimir
там i7, i9, amd ryzen =)
ну десктопные процы, как всегда, угу
Dmitry
ну десктопные процы, как всегда, угу
ну и цены соответственные. dell с idark там тоже есть, но по дороже
Alexander
День добрый, надеюсь где надо спрашиваю. Ищу аналоги s3fs (или советы по настройке s3fs) для работы в яндекс облаке. Задача такая - будут 50-100 нод под линуксом в облаке грузить с s3 хранилища и обратно гигабайты кэшей для симуляции и рендера картинок. Тестировал s3fs - очень медленно, на подгрузку 500 мб двадцать минут ушло. Поддержка уверяет, что у хранилища до 500 мбит доступ, и это не проблема инфраструктуры, поэтому и думаю на fs клиент. goofys поддерживает только sequential write так что не подходит Был опыт, когда нам вендоры настраивали на azure облако, там была такая штука как blobfuse, со всем этим справлялся, достаточно шустро.
🏳️ Phil
Интересно, да. Подписался на каменты
Andrey
а почему именно через fuse, почему не сразу грузить как-то более нативно?
Vladimir
ну и цены соответственные. dell с idark там тоже есть, но по дороже
кроме цен, еще и поведение в разных ситуациях такое себе у таких хостингов. Ну и возможностей мало они дают.
Alexander
а почему именно через fuse, почему не сразу грузить как-то более нативно?
потому что проприетарный софт предназначен для работы на обычных десктопах и "железных" серверах с обычными файловыми системами, рейдами
🏳️ Phil
s3fs - это fuse? да, наверное не надо так, действительно
Andrey
сколько не слышал про fuse - это так, больше для локальных каких-то штучек у себя на компе
Alexander
сколько не слышал про fuse - это так, больше для локальных каких-то штучек у себя на компе
Ну вот на azure у нас до 50 нод одномоментно тягало по 1-2 гб каждая за минуту, и оно не глючило
Alexander
вот я и думаю как это можно на яндекс облаке воспроизвести
Евгений
потому что проприетарный софт предназначен для работы на обычных десктопах и "железных" серверах с обычными файловыми системами, рейдами
Профили использования S3 и fs разный принципиально, S3 это поточная запись/случайное чтение, а fs это случайная запись/чтение. Azure Blob storage в этом смысле намного умнее
Alexander
Вот где зарыта собака
Евгений
Azure Blob storage устроен иначе, блоб делится на блоки, каждый блок можно случайно читать/писать
Alexander
Azure Blob storage устроен иначе, блоб делится на блоки, каждый блок можно случайно читать/писать
Хммм, понятно, спасибо большое за объяснение. Жалко, делать рейд в облаке из дисков будет сильно дороже.
Ivan
а зачем рейд из дисков в облаке?
Alexander
а зачем рейд из дисков в облаке?
У яндекса ограничение - максимум 4 ТБ на диск, а нам надо где-то 50-100
Евгений
50 террабайт?
Alexander
да
Ivan
У яндекса ограничение - максимум 4 ТБ на диск, а нам надо где-то 50-100
там ещё лимит по девайсам на виртуалку, 7*4 = 28 тб на вм
Alexander
там ещё лимит по девайсам на виртуалку, 7*4 = 28 тб на вм
ох... спасибо, что сказал, об этом я тоже не знал. Всё печальнее и печальнее с яндексом по ходу дела
Vladimir
а что за юзкейс, требующий 50-100 ТБ одним диском?
Alexander
Alexander
ну и предварительная симуляция
Alexander
симуляционные кэши больше всего занимают
Andrey
Наверно ЭТО очень затратно 50-100тб в облаке, не проще свое?
One
своя дисковая полка на 20 дисков
One
не сильно хлопотно
Alexander
Наверно ЭТО очень затратно 50-100тб в облаке, не проще свое?
хранилище on-site у нас суммарно на 350 тб, проблема в рендер-нодах, они дорогие, и закупить 100 рендер-нод выльется в сумму, равной двойному годовому обороту студии
Alexander
облако именно для рендер-нод берётся
Alexander
чтобы можно было когда надо поднять 300-500 машин по 256 гб оперативки и быстро отсчитать сотни тысяч кадров
Alexander
Наверно ЭТО очень затратно 50-100тб в облаке, не проще свое?
облако обычно продюсеры оплачивают отдельно из бюджета фильма, ну точнее к бюджету на графику добавляют отдельно деньги на рендер, так что это вопрос для заказчика, согласен он на траты для облака, чтобы ускорить производство, или же ему и так норм, и дедлайн не жмёт
Евгений
Единственное, что приходит в голову — собрать moosefs
Евгений
Так делают конторы, которые в облаках считают статистику всякую
Alexander
Единственное, что приходит в голову — собрать moosefs
а можно чуть больше информации что это и как работает?
Alexander
А то на сайте у них что-то прям много всего)
Евгений
Это кластерная файловая система, в целом схожая по устройству с HDFS
Евгений
Вы сможете собрать moosefs кластер на виртуалках, а потом на остальных рендер-нодах подключаться к нему
Alexander
Спасибо, изучу
Sergei
я думал там давно ipmi/ilo/idrac и прочие, лет 20 как
это только у 1% рынка типа гугла и прочих энтерпрайзов. настоящие все сидят на писюках.
Alexander
это только у 1% рынка типа гугла и прочих энтерпрайзов. настоящие все сидят на писюках.
У гуглофейсбуков давным давно собственное железо в собственном форм-факторе и с собственными реализациями oob-прошивок, где, скорее всего, не ipmi, и, возможно, даже не redfish (а, например, тупо BMC линукс с ssh и vnc, т.к. глобально и надежно). Массово в дц как раз ipmi/ilo/idrac с брендовыми hp/dell у тех, кто побогаче, и с супермикрой у тех, кто победнее. PC-железки в стойках (кроме видюх, ясное дело) — это уже совсем нищеброды с 1-2 серверами, и то, не своими, а арендованными.
Dmitry
собственное железо может позволить себе только амазон на дикой партнерке с интелом и еще каким то вендором
Alexander
Если это ты выражаешь так свой скептицизм по поводу своего железа у гуглофейсбуков, то почитай про opencompute project у фейсбука хотя бы. А затем по дороге вспомни по ena у амазона и tpu у гугла. Это всё из того, что в открытых источниках лежит и в голову сразу приходит. Понятное дело, что у них там нет вертикального производства железок хотя бы как у dell/hp и они активно пользуются услугами контракторов и большую часть железа делают не сами, но к стандартным форм-факторам они не сильно привязываются, т.к. объемы позволяют получать кастом за приемлемые деньги и не сильно парится по поводу отраслевой совместимости. Ну и с прошивками то же самое: им дешевле нанять команду, которая на базе какого-то контроллера сделает BMC, прошивку на базе линукса с доступом ко всем кишкам и интегрирует со стандартной платформой, чем бегать и умолять вендора обновить что-то в готовом стороннем решении.
Dmitry
правильно, почитай как у фейсбука все устроено. погоди те ка... 🤔
Alexander
собственное железо может позволить себе только амазон на дикой партнерке с интелом и еще каким то вендором
Ну так я про компании типа амазона и говорю. И для того, чтобы сделать кастомный форм-фактор серверов и стоек интел не нужен, с этом даже яндекс одно время игрался.
Sergei
пойду почитаю ;)
Alexey
Расскажи ему)
Dmitry
пойду почитаю ;)
в своем докладе или во внутренней документации? -)
Alexey
)))
Sergei
в своем докладе или во внутренней документации? -)
я не говорил о железе публично никогда