George
G72K
Anonymous
Так надо же чтобы ты двадцать портов не на нодпорт делал, А DNS резолвил, как и http
G72K
Это постановка задачи или поток слов ? :) Можно нормально описать чего хочется. Кто куда и зачем идёт по ssh
Anonymous
На каких нибудь java debug port
Anonymous
Anonymous
Постановка задачи подключаться к контейнеру по ssh используя dns ингресса
Anonymous
Без ip и без занимания нод портов
Lucky SB
Anonymous
Lucky SB
неа. не понял
Lucky SB
Пишем ингресс для сервиса kubernetes.default.svc....
Меняем ssh на kubectl exec -it и вуаля - доступ в консоль пода по https
С авторизацией по токену, или сертификатам....
G72K
Ну у ssh есть proxy command, любой скрипт/бинарник в который можно кричать и слушать ответ. Можно написать такой,который слушает stdin и просовывает его в websockets или любой другой протокол в который делаем HTTP Upgrade после установки связи с напарником в поде. В поде висит демон, который слушает http, ожидает апгрейда и как случится - стартует sshd в inetd режиме. После этого ssh клиент можно спокойно общаться с ssh демоном " через DNS ингреса"
Anonymous
G72K
Lucky SB
а вообще задача изначально идиотская. и поставлена чуваками, которые не понимают что такое контейнеры и которые привыкли к php+mysql
Lucky SB
Чем плох?
API сервер всему миру открываем по дефолтку. хотя можно по whitelist ip доступ ограничить
G72K
Anonymous
Anonymous
Чем плох?
У вас у обоих отличные варианты, причем более чем рабочие, однако выглядит ооооооочень костыльно, мне страшно представить сколько подводных камней в этих решениях
Й
ВПН нонче не в моде
Lucky SB
ну это ж банальщина....
так то вполне в моде. но зачем лишняя сетевая сущность ?
Й
Это был риторический пассаж
G72K
Задним числом все SRE гуру
Dmytro
ну с таким подходом нечего вообще про SRE и проактивность говорить, как поломается - приходите
Dmytro
у них core business это git+ssh и не мониторить сколько коннекшенов сейчас из лимита и насколько равномерная балансировка? ну ок
G72K
Там не все так просто было. Клиенты набегали по одновременно из-за ntp и быстро получали отлуп, всего 1.5% , сессии не задерживались, это не ситуация когда все переполнено постоянно и новому некуда влезть. Обычный мониторинг, если не знать куда смотреть, такое не поймает
Dmytro
а кому там и зачем нужен был ссш в под? nginx сам по себе умеет в TCP SNI https://gist.github.com/kekru/c09dbab5e78bf76402966b13fa72b9d2 а за ингресс не знаю
G72K
Плюс отлупы случаются постоянно и по другим причинам, например лезут на SSH порт с http протоколом. Очень много шума, не сразу понятно куда копать вообще
Dmytro
Dmytro
Dmytro
да там и дальше прекрасное:
> We implement the lookup with a little bit of ruby that calls an internal HTTP API. Stan Hu, engineering fellow and our resident source of GitLab knowledge, identified that the unicorn instances on the Git/SSH servers were experiencing substantial queuing. This could be a significant contributor to the ~3-second pre-authentication stage, and therefore something we need to look at further, so investigations continue. We may increase the number of unicorn (or puma) workers on these nodes, so there's always a worker available for SSH. However, that isn't without risk, so we will need to be careful and measure well.
т.е. SSHD ломится по http апи проверять ключ и при этом puma воркеры не выделенные а из общего пула которые сервят и юзерские запросы
Dmytro
G72K
Dmytro
haproxy так вообще насколько я помню имеет метрику сколько коннекшенов на бекенд и неравномерность балансировки должна проявляться не только в эти пиковые момент а всегда
Dmytro
G72K
Dmytro
тогда странная формулировка
> so there's always a worker available for SSH.
почему for SSH если они и атк выделенные?
G72K
Dmytro
я понимаю когда один из десятка сервисов и у одного что-то не замониторили потому что не было проблем, но когда это суть их бизнеса - ну не знаю. А уж вспоминая что они вытворяли раньше...
Dmytro
бекапы не тестируют, метрики ключевого продукта для бизнеса не мониторятся
Dmytro
так навскидку и не вспомню сервис такого же размера с таким колчеством факапов, у конкурентов из гитлаба и битбакета такого в последние годы было? Гитлаб лежал помню, битбакет вообще лежит чуть ли не каждый месяц
G72K
Dmytro
G72K
Вроде наоборот все рассказали, опытом поделились , а их ругают :)
Dmytro
И кстати даже без логов на стороне ССШ мониторинг соединений на бекенд можно было сделать используя метрики от хапрокси но ведь не было же и этого насколько я понял
G72K
krakazyabra
Потому что некстклауд даёт только webdav из коробки
Lucky SB
Yury
Чатик, привет! Есть GKE с Service (type: ClusterIP), сам кластер Cloud Native. И есть пиринг с другого аккаунта.
Так вот из той сети до подов напрямую можно достучаться, а до сервиса - нет. Есть советы что это может быть и куда копать?
Alexander
Yury
Не, оба нативные и роут экспортирован в пиринг
G72K
Yury
да, похоже оно как и мастера не работает. Спасибо.
George
George
George
я так понимаю, что идеальный вариант, когда ты заводишь неймспейс НА КОМПОНЕНТ и на СРЕДУ
George
т.е. типа фича-бранч - деплоится в отдельный неймспейс согласно конвенции именовании неймспейсов
Vadim
народ как можно сделать, чтобы днс запросы во внешний днс сервер идентифицировались с сетью ноды, а не с оверлейной сетью кубера, так как днс сервер отказывает запросы из неизвестной сети
George
моя не понимай
George
пускай запросы во внутренний кореднс
George
а оттуда делай форвард
George
или что ты хочешь?
G72K
Vadim
NM
Evgeniy
Привет! Кто-нибудь пробовал использовать амазонвский managed k8s (EKS) с воркерами вне aws? Запущенными, например, в хетцнере.
Alexander
Stefan
Evgeniy
Вот ищу инфу, реально ли это
Alexander
Воркер EKS - это спец AMI(код на github), он регается через Amazon API