Andrey
ну то есть честно, вот взять EC2 у Амазона. глюкало то еще, но с этим более менее понятно как жить - сценарии отработаны и сто раз пройдены, степень контроля достаточная. а вот с EKS в этом плане все куда хуже, поэтому мучу кластер сам. но вполне возможно, что для чего-то не очень критичного воспользуюсь, раз есть.
Пётр
Так у fargate под капотом теже EC2. Но ценник ощутимо выше, за то что менеджится амазонерами.
Пётр
очень грубо: Fargate: * per vCPU per hour $0.04048 * per GB per hour $0.004445 * equivalent: * t3a.medium = 0.0416 * fargate = 0.04048*2+0.004445*4 = 0.0987
Ivan
Как и любой managed-сервис, да
Dmitry
У нас дискуссия облако vs работник, но в облаке тот же работник остался, тебе он все равно нужен. И если уж говорить про гарантии, он также гарантий тебе не дает (или дает, к чему пришли непонятно). Нужен ли тебе работник в облаке, зависит от масштабов конечно, можно и на прогеров кидать эту работу до разумных пределов. Но я вот после прогеров пару раз видел инфраструктуру, и чет больше не хочется (может просто не повезло, мой субъективный опыт).
Ivan
После прогеров почти всегда так
Во всем AWS от по большому силы четыре нормальных сервиса — S3, EC2 с его блочным стораджем, Route53, VPC и с натяжкой IAM. Но даже в них можно с непривычки запутаться как свинье в апельсинах, что многие и делают 🤷‍♂️
Ivan
Поэтому managed на старте, при отсутствии экспертизы и жестких требований по доступности — это вполне себе ок trade off
Dmitry
Да, на старте самое то.
Ivan
Хотя вот когда у AWS 12 ноября падала одна зона в eu-central-1, порвало в том числе и некоторые managed вещи
Ivan
Прям упала. ТАМы сказали, что с UPS что-то случилось при тестировании. Суммарно чихали они около 3 часов, что ли. Но их site-to-site IPsec-тоннели до середины следующего дня были полуживые — SA поднимали, а BGP по ним не летал
Ivan
Самопровиженные кластера кубеней, к слову, выдержали фейерверк лучше всех)
Dmitry
Самопровиженные кластера кубеней, к слову, выдержали фейерверк лучше всех)
То есть если ехать с кубом в амазон, то лучше всего на голых EC2 его разворачивать. Судя по сообщениям в чате, с EKS есть проблемы (и вроде дороже)
Andrey
Иногда очень
Andrey
Насчет дороже - нет
Dmitry
Ага, но будет больно
А почему? Сети есть из коробки, csi поверх ebs вроде тоже будет из коробоки, балансеры из коробки. Вроде все хорошо должно быть =)
Andrey
Кубеня и "из коробки" - это понятия слабосочетаемые
Ivan
out-of-tree csi для ebs не умеет половину метрик
Andrey
Думать над конфигурацией всего придется и очень много
Ivan
Calico надо будет немного тюнить и в сетевого инженера поиграть — диапазоны просчитать
Ivan
Где с инкапсуляцией, где без гонять трафик
Andrey
Calico надо будет немного тюнить и в сетевого инженера поиграть — диапазоны просчитать
а еще опции для kubelet касательно резервированных ресурсов и тресхолдов
Andrey
одно из самых увлекательных
Ivan
И автоскейлинг потом прикручивать вот где веселье будет
Dmitry
Calico надо будет немного тюнить и в сетевого инженера поиграть — диапазоны просчитать
А VPC не хватает? Там же подсети , роутинг, и вот это все должно быть. Почему calico? По идее должнен быть некий cni, который умеет то что нужно через API амазона делать.
Ivan
И количество IP на них
Dmitry
ААА, интересно
Ivan
В результате инстансы курят бамбук, а подов больше не напихать
Andrey
Да и отзывы о работе vpc-cni...
Andrey
Сомнительны
Dmitry
Так это, если EKS не дороже, почему бы его не использовать? Или из-за того что там еще больше проблем, и на них ты повлиять не в состоянии.
Andrey
...между клизмой и сэндвичем с дерьмом, конечно, но выбора
Ivan
Там проблемы от тебя скрываются, и будь у тебя хоть трижды enterpise support, все равно будешь потом трижды их Пушпешам с Бхаратхами доказывать, что ты не верблюд. То есть начать на EKS можно, но нужно параллельно с этим учиться менеджить кластера самим и быть готовыми съезжать
Ivan
Просто на EC2-инстансах сейчас. Наши ТАМы упорно продают DocumentDB, но наши погромисты используют весьма странные фичи монги (например собственную читалку оплога написали), которых там пока нет.
Ivan
По деньгам конечно DocumentDB выглядит заманчивее нашего вороха i3-инстансов, хотелось бы туда хоть что-то запихнуть
Maxim
В AWS скорее Fargate интереснее выглядит. Сам EKS жуткое поделие, начиная их драйвером VPC CNI, и заканчивая всем остальным. И даже enterprise support plan за килобаксы нефти не помогает
Как-то один клиент очень хотел перевезти рабочий проект с ECS на fargate, перенесли стейджинг, начали тестить нагрузкой - стало все заметно медленнее работать, тупо больше миллисекунд на отклик в несколько раз, плюс стоимость выходила заметно дороже под те же требования и нагрузки. У клиента была какая-то нормальная амазоновская поддержка - ничего так с тормозами и не решили, даже так и не признали. Было это года 2 назад, сейчас может конечно все исправили
Maxim
Прям упала? А сколько времени лежало?
Какое-то время назад у них упал апи s3 и вытянуть файлы оттуда было невозможно. Лежало это с кратковременными подъёмами по-моему то ли 12 то ли больше 24 часов. Вот были рады клиенты, которые, вложившись в мульти зонные и мульти региональные среды с автоматическим развертыванием переключением и храня файлы на пятикратно резервируемом s3 с кучей девяток в сла, получили в итоге нерабочие проекты, потому что с3 глючил по большинству регионов. Что характерно, за все это время ни единого упоминания о каких-то проблемах на их health check reports не было, как не было и анонса почему все так случилось после того как пофиксили. И весь годовой запас девяток тоже истратили многократно, и тоже молчок
Maxim
Как будто кредиты давно кончились
Ivan
Maxim
Там не у всех клиентов было, и в основном по штатам
Maxim
Справедливости ради, это единственный такой большой косяк с3 что я видел
/dev/null
а кто-то может тыкнуть меня носом в релиз ноуты кубера 1.14 в пункт из-за которого у меня в кластере 1.14 поды на ноде с впнкой не имеют доступ к сети по впн в то время как на 1.13 имеют доступ к сети по впн? gke если что
G72K
так он еще даже не введен, он в альфе. а что в нем такого плохого?
Ничего плохого, но это была неудачная попытка и из альфы похоже не выйдет никогда, т.к. не по профилю куба фича
Sn00part
это вдруг с чего?)
G72K
В AWS скорее Fargate интереснее выглядит. Сам EKS жуткое поделие, начиная их драйвером VPC CNI, и заканчивая всем остальным. И даже enterprise support plan за килобаксы нефти не помогает
Чем плохи VPC CNI кроме лимитов на ноду? Что ещё не так с EKS в текущем состоянии? Сам не пользовался , для общего развития
G72K
это вдруг с чего?)
Ну генерация манифестов это скорее к деплоилкам типа хелма, куб сунулся и решил бросить это дело . У них другие заброшки есть, та же история с gitVolume скажем
Ivan
Лимиты на ноду это как бы полбеды. На самом деле ведь далеко не всем нагрузкам нужны внешние по отношению к кластеру адреса, и неплохо бы иметь возможность подключения VPC вторым провайдером через Multus. Но хер там ночевал — не работает VPC CNI с multus. Порой ipamd глючит и не отпускает адреса почему-то. К самому EKS традиционные претензии вроде отставания по версиям и плоховатого observability.
Sn00part
Ничего плохого, но это была неудачная попытка и из альфы похоже не выйдет никогда, т.к. не по профилю куба фича
Мы точно про одно и тоже? Подпресет позволяет всем подам заинджектить ченить одинаковое, например секрет или конфигмап
inqfen
Image pull secret всем сунуть
Sn00part
Ну вот в ci, допустим, 10 подов разных. чтобы подключить ecr, надо у каждого сделать как то eval docker login каждые 12 часов. Проще же сделать один раз и инджектить каждый раз. А если пароль сменился, править в 10 местах
Sn00part
Ну я утрирую щас, канеш, но смысл понятен. По-моему оч круто экономит время и снижает энтропию
Ivan
А выбрасывание ECR на мороз и установка Nexus/Harbor/черта в ступе экономит еще и нервы
Ivan
ECR это вообще один из самых угрёбищных сервисов в AWS
Ivan
Когда я его впервые увидел, очень захотелось пожать горло человеку, который делал в нем авторизацию. Самый вин конечно это невозможность скачать даже публичный имидж без авторизации
Sn00part
впечатления норм
Ivan
вот да, кстати, интересны впечатления от harbor
У нас пока Nexus. На 23 Тб в s3-бакете начал чихать и пердеть, к харбору пока только присматриваемся. Не хочется ради него тащить постгрю и редис, но видимо придется
Sn00part
а джаву тащить )) тем более нексус в бесплатной версии похож на мою бывшую жену, такой же нефункциональный
Ivan
Нексус прост как валенок — один процесс со всем подряд. Интеграция с LDAP есть, нужные форматы репы умеет. И 23 Тб это 23 Тб. Для вертикально масштабируемой софтины очень хороший результат на мой взгляд)
Sn00part
ну он платный, ко сожалению. и дофига всего там заточено исклоючительно под джаву
Ivan
У нас Community версия, нам хватает)
Ivan
Пока что единственное, чего прям не хватает — умения его goproxy ходить в закрытые авторизацией репы в гитхабе. Приходится athens держать
OLeG
кто подскажет при сборке докер имиджа из докер фаила если я указываю установку пакетов то система ждет пока не установится каждый пакет по отдельности ? и что происходит при файле установки
Tadeusz
шта?
Tadeusz
kubespray с ума сошел? ubuntu 18.04
Марат
Tadeusz
буквально ж неделю назад ставил (правда не на ubuntu 18.04.3)