Чятик, подскажите, могу ли я в один сервис запихнуть больше одного селектора? Хочу 22 порт пускать напрямую в приложение, а 80/443 через проксю.

Возьмите проксю которая умеет голый TCP , например haproxy, Nginx и ничего никому не сломаете :)

Коллеги, кто юзает kubespray? Может приходилось фиксить такую ощибку: 1 x509.go:172] x509: subject with cn=system:kube-scheduler is not in the allowed list: [front-proxy-client] ?

Коллеги, кто юзает kubespray? Может приходилось фиксить такую ощибку: 1 x509.go:172] x509: subject with cn=system:kube-scheduler is not in the allowed list: [front-proxy-client] ?

Я не юзаю, но похоже что надо дать view на фронт прокси для шедулера.

strace-ом найти функцию + читать её usage

Java когда то написано Стартует количество тредов по количеству cpu Но не больше 24 Железо толстое Времени разработчиков сейчас нет на фикс Мигрировать надо Strace думаю мне здесь не поможет

Ну и ещё раз вопрос к общему разуму Кто на облаке более 50к rps разруливает? Какую сеть используете.

Java когда то написано Стартует количество тредов по количеству cpu Но не больше 24 Железо толстое Времени разработчиков сейчас нет на фикс Мигрировать надо Strace думаю мне здесь не поможет

Попробуй fannel в режиме host-gw А вот полезная статейка перведённая Флантом со сравнением сетей -> https://habrahabr.ru/company/flant/blog/332432/

Хрень

net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1

Синтетический тест

Причём с вредными советами

расскажите про типичные ошибки новичка в кубернетисах?

раз уж зашла речь про вредные советы

типа "как делать не надо"

Эти sysctl в проде могут обеспечить очень странные эффекты

net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1

насколько я знаю, одновременно так лучше не надо делать

Так вообще не надо делать

Вообще не надо трогать sysctl пока вы в него не упретесь явно

ну так я об этом и говорю, если слишком много time_wait'ов

А когда упретесь нужно залезть в доки которые в сырках ядра Потом подумать Потом править

А слишком много это сколько?

очень слишком много) в какой-то версии докера в комбинации с ufw у меня в какой-то момент просто закончились порты

там проблема в ядре была

Ufw это netfiter или оно его заменяет?

там проблема в ядре была

Сейчас как минимум один из параметров вообще удалили нафиг в свежем ядре . Может и второй надо смотреть

просто надстройка

И очень слишком много это сколько?

30к+

Второй иногда нужен

Синтетический тест

Чем это он "синтетический"?

UPDATED (2017.09): net.ipv4.tcp_tw_recycle has been removed from Linux 4.12.

ОК да советы

Там везде если чё написано было Enable fast recycling TIME-WAIT sockets. Default value is 0. It should not be changed without advice/request of technical experts.

С 30 к можешь расслабится это не нагруженный проект

да, только вот новые коннекты не устанавливались в итоге

Это с помощью чего вытащено? Экспортер какой то готовый ?

UPDATED (2017.09): net.ipv4.tcp_tw_recycle has been removed from Linux 4.12.

И это збс, ибо идиоты, юзающие эту фичу - запарили.

На тему синтетики Меня не интересует как принять 60к на реальном железе Меня интересует как их можно прогнать через netfilter который для этого не предназначен

tw - это ваще не страшно. Следи за tw бакетами.

И это збс, ибо идиоты, юзающие эту фичу - запарили.

Да я это говно у нас нашел в продакшене после прошлых админов. Приклад себя в какой то момент стал Не адекватно вести. На дебаг часов 12 ушло бле

И это збс, ибо идиоты, юзающие эту фичу - запарили. Одно пиво этому господину

Два

И это збс, ибо идиоты, юзающие эту фичу - запарили. Одно пиво этому господину

Так мы с тобой жигулевское на Лужнецкой набережной как-то пили, до того как я свалил во Вьетнам.

Это когда в ментовку загребли?

Меня - нет.

Помню )

Короче, я 130krps обрабатывал на односокетнике без усилий, но там sysсtl знатно перекрутил

Там несколько десятков параметров крутить надо

Если ты не упираешься в fd лимит окружения

Стас ну я не про это Я хочу 60 k в облако загонять На бареметал И пока альтернатив сетке на ipvs не вижу

у тебя какая проблема? терминация TLS?

На железе я тебе и сам их накручу Цель от железа уйти

А что за виртуализация тогда?

vz/kvm/docker?

Если openstack - то ногами вперед можно на свалку.

У меня проблемы пока только организационные Обучение и сроки На квм я это давно уже делал График кстати с квм Кибернетис Ceph

кубер в чьей реализации?

Bare metal Тестовый стенд стафил тераформом он у меня дисклесс

Железо своё Сеть маршрутизируемая по дефолту Но возможен l2, вернее он будет под облако

Ну и мое личное мнение Что использовать iptables для таких целей это верх идиотизма Но судя по тому что ipvs у них уже в тесте они взялись за голову

Пока тестирую на kube router Нюансы есть Но решаемые Ну и спрашиваю зал Может кто что расскажет из своих болячек на эту тему

l2 и kr выглядят самыми понятными. Я гоняю GCE/GKE пока.

Не мой случай Объём предполагает своё

у тебя свитчи какие

Это с помощью чего вытащено? Экспортер какой то готовый ?

Честно не помню Либо node exporter Либо collectd

Сеть не моя

10

Сеть

Бонд

По паре сетевых

Внутри по дефолту маршрутизируемая L3 или как их там Всегда путаю Под облако буду l2 брать

По паре сетевых

Пожалуйста, побольше мысли, поменьше сообщений.

Под капотом vxlan На каком железе хз

Есть вопрос: У меня в контейнерах лежат реплики приложения, которое должно иметь выход в интернет. Как дать им доступ (они должны делать некоторые запросы в интернет) ?

Пожалуйста, побольше мысли, поменьше сообщений.

Я Денису пожалуюсь на вмешательство в диалог )

Под капотом vxlan На каком железе хз

Вот это напрягает, откуда он там и зачем

Не Не напрягает Чуваки через это связность глобальную между датацентрами делают По производительности не напрягает Есть ограничения на тему vrrp и прочего Но про это честно сказано Если нужен L2 берётся отдельно А там уже твори что хочешь

servers.com?

Угадал

Болт забей и поставь L2

Железо у них

Я так и решил

Я у них целые стойки со свитчами выделенными городил - там вопрос того как договоришься.

Если надо, могу контакт дать.

У нас ними нормальные договорные отношения

Контакты и так все есть

Ладно Я спать Завтра поговорим Можно кстати и пива попить Я тебе уже кружку пообещал

> Есть ограничения на тему vrrp и прочего L3 как есть. VRRP - мультикаст.

Java когда то написано Стартует количество тредов по количеству cpu Но не больше 24 Железо толстое Времени разработчиков сейчас нет на фикс Мигрировать надо Strace думаю мне здесь не поможет

Оно смотрит в /proc/cpuinfo. Перехватывайте open() через LD_PRELOAD лижу, могу скинуть пример для перехвата listen() , там разберетесь

по Java - оракл же выкатил фикс https://blogs.oracle.com/java-platform-group/java-se-support-for-docker-cpu-and-memory-limits ну и флаги же есть для более старых версий. Мопед не мой, сам яву сейчас в проде не запускаю. С монгой точно такая же проблема у меня но только с памятью - надо ей в конфиг прописать сколько памяти она может юзать, иначе она попытается как обычно выжрать всю оперативу и упадет.

Здрасьте. А кто с filebeat дружи и у него filebeat из конфига host параметр честно передает в сообщениях на logstash/es?

Здрасьте. А кто с filebeat дружи и у него filebeat из конфига host параметр честно передает в сообщениях на logstash/es?

я не смог победить, судя по всему оно не переопределяется, поэтому я просто добавил нужный мне тэг и на него опёрся в logstash

Здрасьте. А кто с filebeat дружи и у него filebeat из конфига host параметр честно передает в сообщениях на logstash/es?

Host в смысле машины на котором запущен filebeat? Да вроде никаких проблем нет