Anonymous
DoH - да, DoT - вряд ли
До DoH мы ещё не доросли
Anonymous
Так надо же чтобы ты двадцать портов не на нодпорт делал, А DNS резолвил, как и http
G72K
Это постановка задачи или поток слов ? :) Можно нормально описать чего хочется. Кто куда и зачем идёт по ssh
Anonymous
Чего хочется то?
Избавиться от нод портов
Anonymous
На каких нибудь java debug port
Anonymous
Постановка задачи подключаться к контейнеру по ssh используя dns ингресса
Anonymous
Без ip и без занимания нод портов
Lucky SB
Постановка задачи подключаться к контейнеру по ssh используя dns ингресса
dns ингресса - сильно сказано. чуствуется вся глубина глубин
Lucky SB
неа. не понял
Lucky SB
Пишем ингресс для сервиса kubernetes.default.svc.... Меняем ssh на kubectl exec -it и вуаля - доступ в консоль пода по https С авторизацией по токену, или сертификатам....
G72K
Ну у ssh есть proxy command, любой скрипт/бинарник в который можно кричать и слушать ответ. Можно написать такой,который слушает stdin и просовывает его в websockets или любой другой протокол в который делаем HTTP Upgrade после установки связи с напарником в поде. В поде висит демон, который слушает http, ожидает апгрейда и как случится - стартует sshd в inetd режиме. После этого ssh клиент можно спокойно общаться с ssh демоном " через DNS ингреса"
Lucky SB
а вообще задача изначально идиотская. и поставлена чуваками, которые не понимают что такое контейнеры и которые привыкли к php+mysql
Lucky SB
Чем плох?
API сервер всему миру открываем по дефолтку. хотя можно по whitelist ip доступ ограничить
G72K
API сервер всему миру открываем по дефолтку. хотя можно по whitelist ip доступ ограничить
В аписервер можно и по клиентскому сертификату ходить если страшно
Anonymous
а вообще задача изначально идиотская. и поставлена чуваками, которые не понимают что такое контейнеры и которые привыкли к php+mysql
Да это на самом деле не такая уж и задача, я своих веб терминалом заставил пользоваться, но сам факт
Anonymous
Чем плох?
У вас у обоих отличные варианты, причем более чем рабочие, однако выглядит ооооооочень костыльно, мне страшно представить сколько подводных камней в этих решениях
Lucky SB
В аписервер можно и по клиентскому сертификату ходить если страшно
ха. В последний год уже раза три дырки находили, как через API-сервер без авторизации в кластер проломится
Й
ВПН нонче не в моде
Lucky SB
ну это ж банальщина.... так то вполне в моде. но зачем лишняя сетевая сущность ?
Й
Это был риторический пассаж
Dmytro
https://about.gitlab.com/2019/08/27/tyranny-of-the-clock/
да уж, очередной позор гитлаба - криво настроенный haproxy, никакого мониторинга достижения лимита количества соединений ssh...
G72K
Задним числом все SRE гуру
Dmytro
ну с таким подходом нечего вообще про SRE и проактивность говорить, как поломается - приходите
Dmytro
у них core business это git+ssh и не мониторить сколько коннекшенов сейчас из лимита и насколько равномерная балансировка? ну ок
G72K
Там не все так просто было. Клиенты набегали по одновременно из-за ntp и быстро получали отлуп, всего 1.5% , сессии не задерживались, это не ситуация когда все переполнено постоянно и новому некуда влезть. Обычный мониторинг, если не знать куда смотреть, такое не поймает
Dmytro
а кому там и зачем нужен был ссш в под? nginx сам по себе умеет в TCP SNI https://gist.github.com/kekru/c09dbab5e78bf76402966b13fa72b9d2 а за ингресс не знаю
G72K
Плюс отлупы случаются постоянно и по другим причинам, например лезут на SSH порт с http протоколом. Очень много шума, не сразу понятно куда копать вообще
Dmytro
Там не все так просто было. Клиенты набегали по одновременно из-за ntp и быстро получали отлуп, всего 1.5% , сессии не задерживались, это не ситуация когда все переполнено постоянно и новому некуда влезть. Обычный мониторинг, если не знать куда смотреть, такое не поймает
обычно мониторинг тоже бы нашел колчество соединений > max а также этот же меониторинг (если бы он был) показал неравномерность балансировки на бекенды из-за неправильно анстройки haproxy
G72K
обычно мониторинг тоже бы нашел колчество соединений > max а также этот же меониторинг (если бы он был) показал неравномерность балансировки на бекенды из-за неправильно анстройки haproxy
Не нашел бы, не было соединений постоянно висящих. Надо очень удачно попасть мониторингом так,что б такое увидеть,а сессий проблемных всего 1.5% всех запросов, т.е. даже если попасть удачно,то все равно за шумом не разглядеть будет. В целом если в любой момент времени смотреть, то количество соединений меньше максимума всегда при таких короткоживущих набегах
Dmytro
да там и дальше прекрасное: > We implement the lookup with a little bit of ruby that calls an internal HTTP API. Stan Hu, engineering fellow and our resident source of GitLab knowledge, identified that the unicorn instances on the Git/SSH servers were experiencing substantial queuing. This could be a significant contributor to the ~3-second pre-authentication stage, and therefore something we need to look at further, so investigations continue. We may increase the number of unicorn (or puma) workers on these nodes, so there's always a worker available for SSH. However, that isn't without risk, so we will need to be careful and measure well. т.е. SSHD ломится по http апи проверять ключ и при этом puma воркеры не выделенные а из общего пула которые сервят и юзерские запросы
G72K
почему? Если поставить алерт по паттерну на сообщение в логах (т.е. то как они в итоге нашли) то монитринг бы нашел как миленький
Вы статью не читали,а какашками кидаетесь. Не было в логах ничего, только если дебаг включить.
Dmytro
haproxy так вообще насколько я помню имеет метрику сколько коннекшенов на бекенд и неравномерность балансировки должна проявляться не только в эти пиковые момент а всегда
Dmytro
Вы статью не читали,а какашками кидаетесь. Не было в логах ничего, только если дебаг включить.
я читал, а не было почему? Потому что никто и не думал что им такое нужно мониторить?
Dmytro
тогда странная формулировка > so there's always a worker available for SSH. почему for SSH если они и атк выделенные?
G72K
haproxy так вообще насколько я помню имеет метрику сколько коннекшенов на бекенд и неравномерность балансировки должна проявляться не только в эти пиковые момент а всегда
Неравномерность видено, но если каждый бекенд в пределах нормы, то других дел полно и вполне логично,что это идёт в разряд "исправим, когда руки дойдут, не критично"
Dmytro
я понимаю когда один из десятка сервисов и у одного что-то не замониторили потому что не было проблем, но когда это суть их бизнеса - ну не знаю. А уж вспоминая что они вытворяли раньше...
Dmytro
бекапы не тестируют, метрики ключевого продукта для бизнеса не мониторятся
Dmytro
так навскидку и не вспомню сервис такого же размера с таким колчеством факапов, у конкурентов из гитлаба и битбакета такого в последние годы было? Гитлаб лежал помню, битбакет вообще лежит чуть ли не каждый месяц
G72K
тогда странная формулировка > so there's always a worker available for SSH. почему for SSH если они и атк выделенные?
Я так понял что unicorn ещё для чего то используется , может git shell какой нибудь и вот оно ещё и для раздачи ключей sshd тоже, в итоге получалось что демонам не хватало воркеров . Т.е в целом ноды для git/SSH, но подозревают, что надо ещё более специалищированные воркера . Хотя согласен, что пояснение это можно двояко прочитать
G72K
бекапы не тестируют, метрики ключевого продукта для бизнеса не мониторятся
Проблемы быстрого роста до пары сотен миллионов капатилазации :)
G72K
Вроде наоборот все рассказали, опытом поделились , а их ругают :)
Dmytro
Проблемы быстрого роста до пары сотен миллионов капатилазации :)
так нанимали бы людей с опытом, так нет же - публичные зп и калькулятор. По их калькулятору там выходил senior devops 72k что по нынешним меркам сильно ниже рынка
Dmytro
Вроде наоборот все рассказали, опытом поделились , а их ругают :)
ну если все рассказали то значит puma воркеры расшарены между ссш и веб запросами...
Dmytro
И кстати даже без логов на стороне ССШ мониторинг соединений на бекенд можно было сделать используя метрики от хапрокси но ведь не было же и этого насколько я понял
krakazyabra
Это постановка задачи или поток слов ? :) Можно нормально описать чего хочется. Кто куда и зачем идёт по ssh
В поде живёт некстклауд. Задача: дать юзерам возможность ssh в их директорию, чтобы они могли, как минимум, делать scp <файл> nextcloud.url
krakazyabra
Потому что некстклауд даёт только webdav из коробки
Yury
Чатик, привет! Есть GKE с Service (type: ClusterIP), сам кластер Cloud Native. И есть пиринг с другого аккаунта. Так вот из той сети до подов напрямую можно достучаться, а до сервиса - нет. Есть советы что это может быть и куда копать?
Alexander
Чатик, привет! Есть GKE с Service (type: ClusterIP), сам кластер Cloud Native. И есть пиринг с другого аккаунта. Так вот из той сети до подов напрямую можно достучаться, а до сервиса - нет. Есть советы что это может быть и куда копать?
Так погляди какие IP у сервисов. Возможно поды на 10.x нативной сетке, а сервисы на 172.* и маршрутизируются прозрачно только внутри Кубера. Смотри как во вне интегрировать
Yury
Не, оба нативные и роут экспортирован в пиринг
Yury
да, похоже оно как и мастера не работает. Спасибо.
George
я так понимаю, что идеальный вариант, когда ты заводишь неймспейс НА КОМПОНЕНТ и на СРЕДУ
George
т.е. типа фича-бранч - деплоится в отдельный неймспейс согласно конвенции именовании неймспейсов
Vadim
народ как можно сделать, чтобы днс запросы во внешний днс сервер идентифицировались с сетью ноды, а не с оверлейной сетью кубера, так как днс сервер отказывает запросы из неизвестной сети
George
моя не понимай
George
пускай запросы во внутренний кореднс
George
а оттуда делай форвард
George
или что ты хочешь?
Vadim
Зависит от вашего CNI, надо настроить чтобы все запросы наружу NATились. В классическом Calico это так из коробки
а во фланнель нет? конкретно щас фланнель, но на каллико тож была проблема
Evgeniy
Привет! Кто-нибудь пробовал использовать амазонвский managed k8s (EKS) с воркерами вне aws? Запущенными, например, в хетцнере.
Evgeniy
Вот ищу инфу, реально ли это
Alexander
Воркер EKS - это спец AMI(код на github), он регается через Amazon API