« Rev
@kubernetes_ru   502
Fwd »


Aleksey
а если вебпроксю засунуть отдельным контейнером в этот под?
эта прокся уже проксирует десяток других http-приложений, звучит как ещё большая боль
Andrey
это не возможно в моей ситуации :(
ну тогда используйте текущие, если сервисы не пересоздавать, то они вроде как стабильные. но это костыль
Vadim
жаль, в k8s нет внутреннего LB
в опеншифте есть routes, где сразу днс резолвиться
Vadim
открываешь http порт, а haproxy уже опционально навесит https
Andrey
Да просто юзеры.
внутри overlay network?
Aleksey
ну тогда используйте текущие, если сервисы не пересоздавать, то они вроде как стабильные. но это костыль
текущие меняются на апдейтах, например. А пересоздавать сущность каждый раз это оверкил
Andrey
если у вас юзеры снаружи кластера, то непонятно как на них могут повлиять разные сервисы для разных портов
Ivan
Коллеги, кто юзает kubespray? Может приходилось фиксить такую ощибку: 1 x509.go:172] x509: subject with cn=system:kube-scheduler is not in the allowed list: [front-proxy-client] ?
Алексей
strace-ом найти функцию + читать её usage
Java когда то написано Стартует количество тредов по количеству cpu Но не больше 24 Железо толстое Времени разработчиков сейчас нет на фикс Мигрировать надо Strace думаю мне здесь не поможет
Алексей
Ну и ещё раз вопрос к общему разуму Кто на облаке более 50к rps разруливает? Какую сеть используете.
Алексей
Хрень
Алексей
net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1
Алексей
Синтетический тест
Алексей
Причём с вредными советами
Sergey
расскажите про типичные ошибки новичка в кубернетисах?
Sergey
раз уж зашла речь про вредные советы
Sergey
типа "как делать не надо"
Алексей
Эти sysctl в проде могут обеспечить очень странные эффекты
Салтыдык
net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1
насколько я знаю, одновременно так лучше не надо делать
Алексей
Так вообще не надо делать
Алексей
Вообще не надо трогать sysctl пока вы в него не упретесь явно
Салтыдык
ну так я об этом и говорю, если слишком много time_wait'ов
Алексей
А когда упретесь нужно залезть в доки которые в сырках ядра Потом подумать Потом править
Алексей
А слишком много это сколько?
Салтыдык
очень слишком много) в какой-то версии докера в комбинации с ufw у меня в какой-то момент просто закончились порты
Салтыдык
там проблема в ядре была
Алексей
Ufw это netfiter или оно его заменяет?
Gleb
там проблема в ядре была
Сейчас как минимум один из параметров вообще удалили нафиг в свежем ядре . Может и второй надо смотреть
Салтыдык
просто надстройка
Алексей
И очень слишком много это сколько?
Салтыдык
30к+
Алексей
Второй иногда нужен
Vadim
Синтетический тест
Чем это он "синтетический"?
Gleb
UPDATED (2017.09): net.ipv4.tcp_tw_recycle has been removed from Linux 4.12.
Gleb
ОК да советы
Gleb
Там везде если чё написано было Enable fast recycling TIME-WAIT sockets. Default value is 0. It should not be changed without advice/request of technical experts.
Алексей
Алексей
С 30 к можешь расслабится это не нагруженный проект
Салтыдык
да, только вот новые коннекты не устанавливались в итоге
Gleb
Это с помощью чего вытащено? Экспортер какой то готовый ?
Stanislav
UPDATED (2017.09): net.ipv4.tcp_tw_recycle has been removed from Linux 4.12.
И это збс, ибо идиоты, юзающие эту фичу - запарили.
Алексей
На тему синтетики Меня не интересует как принять 60к на реальном железе Меня интересует как их можно прогнать через netfilter который для этого не предназначен
Stanislav
tw - это ваще не страшно. Следи за tw бакетами.
Gleb
И это збс, ибо идиоты, юзающие эту фичу - запарили.
Да я это говно у нас нашел в продакшене после прошлых админов. Приклад себя в какой то момент стал Не адекватно вести. На дебаг часов 12 ушло бле
Алексей
И это збс, ибо идиоты, юзающие эту фичу - запарили. Одно пиво этому господину
Gleb
Два
Stanislav
И это збс, ибо идиоты, юзающие эту фичу - запарили. Одно пиво этому господину
Так мы с тобой жигулевское на Лужнецкой набережной как-то пили, до того как я свалил во Вьетнам.
Алексей
Это когда в ментовку загребли?
Stanislav
Меня - нет.
Алексей
Помню )
Stanislav
Короче, я 130krps обрабатывал на односокетнике без усилий, но там sysсtl знатно перекрутил
Stanislav
Там несколько десятков параметров крутить надо
Stanislav
Если ты не упираешься в fd лимит окружения
Алексей
Стас ну я не про это Я хочу 60 k в облако загонять На бареметал И пока альтернатив сетке на ipvs не вижу
Stanislav
у тебя какая проблема? терминация TLS?
Алексей
На железе я тебе и сам их накручу Цель от железа уйти
Stanislav
А что за виртуализация тогда?
Stanislav
vz/kvm/docker?
Stanislav
Если openstack - то ногами вперед можно на свалку.
Алексей
У меня проблемы пока только организационные Обучение и сроки На квм я это давно уже делал График кстати с квм Кибернетис Ceph
Stanislav
кубер в чьей реализации?
Алексей
Bare metal Тестовый стенд стафил тераформом он у меня дисклесс
Алексей
Железо своё Сеть маршрутизируемая по дефолту Но возможен l2, вернее он будет под облако
Алексей
Ну и мое личное мнение Что использовать iptables для таких целей это верх идиотизма Но судя по тому что ipvs у них уже в тесте они взялись за голову
Алексей
Пока тестирую на kube router Нюансы есть Но решаемые Ну и спрашиваю зал Может кто что расскажет из своих болячек на эту тему
Stanislav
l2 и kr выглядят самыми понятными. Я гоняю GCE/GKE пока.
Алексей
Не мой случай Объём предполагает своё
Stanislav
у тебя свитчи какие
Алексей
Это с помощью чего вытащено? Экспортер какой то готовый ?
Честно не помню Либо node exporter Либо collectd
Алексей
Сеть не моя
Алексей
10
Алексей
Сеть
Алексей
Бонд
Алексей
По паре сетевых
Алексей
Внутри по дефолту маршрутизируемая L3 или как их там Всегда путаю Под облако буду l2 брать
« Rev
@kubernetes_ru   502
Fwd »