Открыл страницу проекта. Прочитал про гипер-эластик-скейл сторадж который дип-интегретед с кубером и чото мне уже страшно. Там совсем писец пушной? Открыл гитхаб, там все компоненты альфа-альфа-альфа. Прям руки чешутся врагу посоветовать. Или тестерам)
Я, имея опыт с голым ceph, стараюсь обходить такие вещи как rook
Sergey
Mentat
Я, имея опыт с голым ceph, стараюсь обходить такие вещи как rook
Дык помоему все мы из ceph_ru
Sergey
Ссд и хдд
Mentat
А у тебя пул методанных и данных разные?
Не помню тонкостей реализации, успешно передал потомкам год назад и вышел из темы. Вроде да, были на разных, но я пошел лобовым путем, через журналы на ссд+данные хдд, это еще джевел был, многое было колючим
Sergey
А юзкейс какой решался?
Sergey
На клиентах маунтилась шара ядерным драйвером или через фьюз?
Mentat
А юзкейс какой решался?
А давайте мы попробуем на дешевых серверах набитых дисками захостить кучу холодного видео и не бекапить(c)
Mentat
На клиентах маунтилась шара ядерным драйвером или через фьюз?
Ядерный на дебиане отваливался постоянно, fuse был хуже по производительности, но стабильнее, а скорость и не нужна была особо
Sergey
Я понял, спасибо
Mentat
Наздоровье
Sergey
Я натыкался в свое время, что на бубунта ядрах цеф был стабильнее чем на дебиане
Sergey
Видимо, ничего не поменялось
Mentat
Плюс там есть момент, что у тебя фичасет ядерного клиента может отставать от фичасета демонов самого цефа и как беее, хоть стой, хоть fuse ставь, у которого таких проблем по очевидным причинам нет
Михаил
А давайте мы попробуем на дешевых серверах набитых дисками захостить кучу холодного видео и не бекапить(c)
в @ceph_ru же нашли дно цены и качества по серверам и свитчам
Sergey
Но, справедливости ради, кернел паник был и там и там
Mentat
в @ceph_ru же нашли дно цены и качества по серверам и свитчам
Я нашел дно еще до того, как это стало модным)))
Sergey
Плюс там есть момент, что у тебя фичасет ядерного клиента может отставать от фичасета демонов самого цефа и как беее, хоть стой, хоть fuse ставь, у которого таких проблем по очевидным причинам нет
Кстати, как раз то, что очень не рекомендуют делать
Mentat
Кстати, как раз то, что очень не рекомендуют делать
Я вот свят-свят, сдал потомкам в эксплуатацию, обложил документацией и завещал раньше прочтения всех книжек и доков не трогать. Потомки вроде не подвели, все живо и вертит как положено.
Sergey
в @ceph_ru же нашли дно цены и качества по серверам и свитчам
Все равно не понимаю, почему до сих пор считают что цеф - это свой сторедж из говна и палок
Михаил
Все равно не понимаю, почему до сих пор считают что цеф - это свой сторедж из говна и палок
хз
но давайте закончим про ceph
Sergey
Я вот свят-свят, сдал потомкам в эксплуатацию, обложил документацией и завещал раньше прочтения всех книжек и доков не трогать. Потомки вроде не подвели, все живо и вертит как положено.
Признавайся, нашел девственницу и принес в жертву ?
Sergey
Но хозяин - барин
Mentat
Все равно не понимаю, почему до сих пор считают что цеф - это свой сторедж из говна и палок
Ну как, ты заходишь например к нетапу за хранилками, а тебе там сразу ценникЪ - ты начинаешь уважать людей, они деньги берут и немалые,значит им есть за что, такая психология. А тут приходит к тебе сисадмин/девопс или иной архитектор неведомого и говорит - вот опенсурс, немецкие телекомы и церн соврать не дадут, и практически за стоимость серверов. И тут ты думаешь, так этож дешево. А что там внутри крутилок несколько тысяч, что значение настроек лучше всего читать прям в исходниках, потому что их описывать не любят, что в целом сетевой сторадж(а если еще и cephfs - то с множественным доступом) - не подарок, ты, как водится, не очень задумываешься. Отсюда недостатки оценки сложности, говно и палки, боль. Сначала надо подумать, посчитать, все прикинуть включая сложность сопровождения, но зачем, ведь есть админ с огнем в глазах и опенсорс))
Sergey
Но это реально у тех людей, которые не крутили даже те же самые вендорские решения, там рукеч не меньше
Mentat
Но это реально у тех людей, которые не крутили даже те же самые вендорские решения, там рукеч не меньше
Там на входе заплатить надо, человек же как устроен - заплатил, начинает ценить. Если например простенький нетапп стоит 4 штуки баксов, а сложный десятки штук баксов, и ты его не один взял - так тебе и на проект штуку-две не очень жалко и людей ты будешь не абы каких брать. Ценить будешь. А опенсорс ценить - это надо сперва от него боль получить. Понять что там вход бесплатный, но суппорт не бесплатный. Все доходят, рано или поздно. Но не сразу
Mentat
Миша, если я тут разфилософствовался, режь смело все это, я дико извинияюсь. Ночь просто, время такое
Sergey
Миша, если я тут разфилософствовался, режь смело все это, я дико извинияюсь. Ночь просто, время такое
Думаю, нам стоит на этой позитивной ноте закончить, Миша уже намекал )
Mentat
да-да, расходимся, даже у меня уже первый час ночи :)
Салтыдык
к срачу про бд в докере:
Если бы это не было востребовано, то не появились бы stolon, patroni и прочее.
Маленькие базы живут в кубере довольно хорошо (на hostPath).
G72K
Так себе аргумент :) всяких недоделок полно , ими при этом врят ли кто пользуется
Салтыдык
я не думаю, что конторы бы стали в эти продукты вкладывать деньги, если никто ими не пользуется
G72K
Да повсюду же, не все конторы живут на свои :)
Vadim
Так себе аргумент :) всяких недоделок полно , ими при этом врят ли кто пользуется
Редко недоделки пилят граждане на зарплате в неопенсорсных стартапах
bama^boy
Редко недоделки пилят граждане на зарплате в неопенсорсных стартапах
Загляни в сорцы patroni 😉
Vadim
https://youtu.be/92cwyHP7HVQ
Vadim
Кстати о дб, операторах и кубенях
Andrey
всем привет, нубский вопрос: kubectl run hello-server --image gcr.io/google-samples/hello-app:1.0 --port 8080
возвращает такую ошибку:
error: failed to discover supported resources: Get https://34.76.203.58/apis/extensions/v1beta1: error executing access token command "/opt/google-cloud-sdk/bin/gcloud config config-helper --format=json": err=fork/exec /opt/google-cloud-sdk/bin/gcloud: no such file or directory output= stderr=
взято с сайта гугла вот отсюда: https://cloud.google.com/kubernetes-engine/docs/quickstart
/opt/google-cloud-sdk/bin/gcloud: no such file or directory
Валентин
Вопрос к тем, кто вчера вечером рассказывал об использовании бд и прочего такого statefull в кубе: а storage driver у системы контейнеризации какой используете? Overlay выглядит "так себе" для бд ведь.
Rainbow
Вопрос к тем, кто вчера вечером рассказывал об использовании бд и прочего такого statefull в кубе: а storage driver у системы контейнеризации какой используете? Overlay выглядит "так себе" для бд ведь.
разве volumes не идут мимо storage driver? он же чтобы слои в контейнере использовать.
Валентин
разве volumes не идут мимо storage driver? он же чтобы слои в контейнере использовать.
Ну вот мне и хочется узнать от тех, кто использует, как оно все с точки зрения именно производительности и надежности storage работает. А то толку тратится на условные супербыстрые nvme под бд, а потом через десяток тормозных прослоек это подключать
Rainbow
Я что-то думал что условный -v /srv:/srv в докере пишет без прослоек особых.
Евгений
Вопрос к тем, кто вчера вечером рассказывал об использовании бд и прочего такого statefull в кубе: а storage driver у системы контейнеризации какой используете? Overlay выглядит "так себе" для бд ведь.
Стораджи подключаются в контейнер через обычный mount. Почитайте тут: https://docs.docker.com/storage/volumes/
Stas
На
Михаил
Maxim
Sergey
G72K
Ну вот мне и хочется узнать от тех, кто использует, как оно все с точки зрения именно производительности и надежности storage работает. А то толку тратится на условные супербыстрые nvme под бд, а потом через десяток тормозных прослоек это подключать
Это уже закономерность - шумные противники DB в докере почти всегда считают , что оно с базами через storage driver работает
Aleksey
@kvaps привет, можно тебе в догонку к докладу вопросик задать?
Вы же никакие рейды не используете?
Как вы менеджите кейс, что нода сдохла пошел рекавери(у Linstor же будет какой-то рекавери?) и этот рекавери убил диск с данными?
G72K
@kvaps привет, можно тебе в догонку к докладу вопросик задать?
Вы же никакие рейды не используете?
Как вы менеджите кейс, что нода сдохла пошел рекавери(у Linstor же будет какой-то рекавери?) и этот рекавери убил диск с данными?
Наверняка там есть свой node drain, который выведет ноду из оборота
bama^boy
Кстати да, я на Patroni, но код пугает. Stolon лучше?
Я не использую такие решения, не могу подсказать.
KoBa4oG
Валентин
Это уже закономерность - шумные противники DB в докере почти всегда считают , что оно с базами через storage driver работает
Ну так а как же тогда снэпшоты и вот это все без storage driver?
G72K
Ну так а как же тогда снэпшоты и вот это все без storage driver?
А как у вас снапшоты и вот это все без докера?
𝚔𝚟𝚊𝚙𝚜
@kvaps привет, можно тебе в догонку к докладу вопросик задать?
Вы же никакие рейды не используете?
Как вы менеджите кейс, что нода сдохла пошел рекавери(у Linstor же будет какой-то рекавери?) и этот рекавери убил диск с данными?
drbd сам по себе является сетевым raid1. Если сдыхает диск, drbd переключается на другую реплику. Если сдыхает нода, fencing-controller ее добивает
Pavel
Это уже закономерность - шумные противники DB в докере почти всегда считают , что оно с базами через storage driver работает
С другой стороны есть своя закономерность, почти все стороники DB в кубере всегда считают, что некий оператор решит все проблемы 🙂
Салтыдык
не, сторонники бд в кубе просто молчат и юзают бд в кубе