она багованая

overlay2 надо

а его то нет

уверен?

что багованая или что нет?

что нет

overlay только в 3.18 взяли

3.19 у меня щас, там нет overlay2

overlay могут кончится иноды. и скорость там никакая

overlay2 это 4.0 ядро

вот чтобы в прод это поставить, надо тащить кастомное ядро и его маинтейнить

плюс собрать для кореосных штук 50 пакетов и их ещё маинтейнить

@Sn00p У тебя какой дистрибутив в production? Чисто интересно.

дебиан8 предпочитаю, центос7

Убунта так себе

Великий русский... Ты предпочитаешь Debian 8, но стоит CentOS 7?

вот как раз пример с aufs показывает всю мощь убунты

извините, с телефона пишу

дебиан предпочитаю ставить

если нет, то центос7

на лаптопе федора

Понятно. Если что можно на ты. Я в интернетах со всеми стараюсь на ты, чтобы не заморачиваться.

)

а для чего скорость то? aufs используется только чтобы разницу в файлах хранить. а если это DB, то подключается внешний volme

грубо говоря конфиги, tmp файлы и .т.п

где там скорость требуется?

ну если у меня хайлоад какой нибудь, то работать будет плохо. так не бывает же, что все быстро и похрен на медленный сторадж

дофига сервисов диск дрочит

я не ханжа, меня по большей степени интересуют реальные примеры негативного поведения и варианты их решения. workaround и т.п..

а дофига сервисов дрочат диск на котором лежит бинарник и конфиг?

если какой-то сервис дрочит диск - я бы выяснил путь, и по возможности этот пусть завернул в mount —bind

я понимаю, что развернутый ответ потребует времени, но хотелось бы чтобы слова были подкреплены примерами, ссылками, и т.п.

ну если у меня хайлоад какой нибудь, то работать будет плохо. так не бывает же, что все быстро и похрен на медленный сторадж

если очень беспокоят тормоза aufs, overlay и т.п. - всегда можно сказать —storage=vfs

дебиан8 предпочитаю, центос7

в центос 7 есть overlay/overlay2

Мне тоже проблема с производительностью layered fs кажется надуманной. Это в большей степени влияет на старт контейнера, когда нужно прочитать все файлы во время старта какого-то сервиса. Да, бывает что приложение на NodeJS и там 100500 JavaScript модулей. Но это все влияет исключительно на старт. Хотя конечно если вы поддерживаете какой-то PaaS или FaaS (Function as a Service a-la AWS Lambda, etc), то это может стать для вас bottleneck. Если речь идет о custom solution или line of business application, то IMO скорость любого layered storage будет достаточной. До кучи - анализ этого вопроса от RedHat, который датирован 2014 годом. Comprehensive Overview of Storage Scalability in Docker – Red Hat Developer Blog - http://developers.redhat.com/blog/2014/09/30/overview-storage-scalability-docker/

У меня не было пока high-load проектов в контейнерах, но кручу Docker довольно давно. Опробовал на куче дистрибутивов включая экзотический CentOS 6, на котором Docker официально не работает :) Да, при беглом взгляде видно что devicemapper работает медленнее, чем aufs или overlayfs. Ну и что. Чуть дольше pull, чуть дольше start. Не есть проблема. Что интересно, мы выхватывали глюки с devicemapper и aufs - по всем проблемам есть тикеты в GitHub. Но вот с overlayfs пока везет ))

мезос можно закапывать. его купили и сделают проприетарным. опенсорс мезос развиваться больше не будет. и это джава тем более

а дай пожалуйста пруф, мне нужно аргументировать ещё почему я марафон не хочу)

допустим хорайзон опенстечный

там петон джанга и uwsgi

джава много диск юзает

в общем понятно это все решается

но не хотелось бы иметь в системе заведомо слабое место которое надо воркераундить

щас сек поищу про мезос

а может это просто преждевременно оптимизировать?

ну так же не работает )) может или не может )) тут либо да либо нет _) если речь не про поиграться

все ссылки остались в раочем ноуте, который я сдал (

http://www.forbes.com/sites/janakirammsv/2016/08/01/mesosphere-wants-to-move-enterprises-to-the-container-2-0-era/#6634f54d4749

про опенсорс версию ни слова, но точно читал статью что типа всем спасибо, все свободны.

наверняка все также как и с мускулем будет

а чем не устаивает кубернетес ? удобно же

ну так же не работает )) может или не может )) тут либо да либо нет _) если речь не про поиграться

ну конечно не работает. Нужны тесты, показать тест план, как всё собрано и смотреть, что нужно оптимизировать. Я к тому, что у нас, например, сервисы используют диск сейчас только для того, чтобы логи писать в конечном итоге, от чего тоже уйдём. Поэтому мне главное, чтобы fs была стабильна в рамках - контейнер точно запустился, точно остановился и нет проблем с удалением. Вот с этим проблемы я наблюдал у себя с девайсмаппером год назад, когда ещё докер только для запуска тестов из CI запускал

согласен

http://www.forbes.com/sites/janakirammsv/2016/08/01/mesosphere-wants-to-move-enterprises-to-the-container-2-0-era/#6634f54d4749

спасибо, но тут ничего про то, что продался, а опенсорс версия не будет развиваться. Буду смотреть ещё новости

надо поискать. мы тоже на него ставку делали, а потом умножили все на ноль )

надо поискать. мы тоже на него ставку делали, а потом умножили все на ноль )

у меня тут ребята по соседству в компании пилят марафон активно, собираются с ним в прод выходить

я хз, может они знают и готовы денег давать за DC/OS

в общем тут есть наверняка ребята из мирантиса коорые мезосферой занимались плотно. я в то время его только пакетировал

чего его там на ноль умножили может подробнее расскажут

он не скалируется больше 1000 нод, например. когда спросили когда будет больше - сказали а мы все, теперь покупайте.

а мне вот интересно, тут обсуждали coreos + fleet + k8s и fleet, как прослойка для запуска k8s, так?

я олько про это читал , сам непробовал

я к тому, что fleet лимитирован 100 хостов или 1000 сервисов

там прям на главной в readme.md

я вообще последнее занимался кубернетесом под мурано )) это опенстек ванильный

и фактически он не поддерживается кореос командой @kay_rus может подсказать, наверное, как с этим жить?

не пойму какую конкретно задачу решает fleet )

раздеплоить кубернетес?

fleet был лимитирован. версии 0.11

с тех пор в нем несколько оптимизаций провели. grpc (пока не закоммичено, ожидается в 1.0), правильная логика unit state (требуется systemd 230 >=)

ну а самый простой вариант - задеплоить etcdv3

etcdv3 сам тоже на grpc. потому даёт прирост в скорости

у меня вообще все работать начало только после 3.0.7 когда включили https://github.com/coreos/etcd/pull/6310

до этого постоянный тупняк происходил

ну а если серьезно, то fleet более низкоуровневый нежели k8s. есть компания, которая активно использовала fleet для своего кластера (https://giantswarm.io/). но и они впоследствии сделали ставку на k8s.

fleet доведут до релиза 1.0 и coreos больше не будет его поддерживать

вернее coreos его уже давно не поддерживает. поддеркжа по outsource была

и есть

ну а какой в нем смысл? если кубернетес сам себя менеджит, какой смысл его еще обмазывать чемто ?

я вот понимаю еще допустим в опенстеке готовом его попробовать развернуть - проблема

ходят слухи, что в systemd скоро запилят distributed scheduler. и fleet станет совсем не нужен. но те же слухи говорят о том, что в systemd контейнеризацию запилят.