Solyar
Он 1 тред больше 1 не выдаст не как
Ну это понятно. Я просто из чарта взял лимиты и чуть упразднил
Solyar
точнее реквесты!
Solyar
Я и себя и вас ввел в заблуждение)
Sergey
точнее реквесты!
Вот реквесты это хорошо делать редису. Скажет спасибо
Solyar
хотя не стоят
и всё же. Если убрать nginx
Solyar
запрос также летит?
Solyar
Если нет попробуйте размер буфера увеличить
Sergey
хотя не стоят
Ноде с редисов загружен? К него есть реквесты на cpu?
Дмитрий Харитонов
да, нода сильно грузит цпу
Sergey
да, нода сильно грузит цпу
Дай редису 0.5 реквест или 1.0
Andrey
JVM🤷‍♂
посмотрел графану, не было gc дольше чем 0.001 сек за последний месяц)
Sergey
посмотрел графану, не было gc дольше чем 0.001 сек за последний месяц)
Тогда не GC. А что у вас там. Что куда стучит от куда
Andrey
Тогда не GC. А что у вас там. Что куда стучит от куда
У нас вот как, эластики 3 ноды стоят в 2 дц просто на gce, из кластера к ним ходим
G72K
@kvaps, включил я cgroup driver systemd , словил https://github.com/kubernetes/kubernetes/issues/76531 , почертыхался, выключил обратно
Дмитрий Харитонов
Дай редису 0.5 реквест или 1.0
ну что-то помогло. то ли это, то ли то что перенс на другой хост)
Sergey
ну что-то помогло. то ли это, то ли то что перенс на другой хост)
Наверно помогло. На любом другом ноде теперь ц редиса будет cpu а он любит cpu
Andrey
Один vpc? А как аппликации не ходит в другой ДС?
vpc один, по поводу не ходит в другой дц - ходит
Andrey
но вряд ли поход в соседний дц занимает 1сек
Andrey
на обоссаных vpsках на российских хостингах было бы быстрее
Sergey
но вряд ли поход в соседний дц занимает 1сек
Подними под убунту простую и сделай с нее тесты в ноду с эластиком(не в эластик)
Andrey
Подними под убунту простую и сделай с нее тесты в ноду с эластиком(не в эластик)
да я заходил через exec на ноду в кубе, поставил туда апач бенчмарк, и фигачил запросы в эластик
Andrey
выполнялись за вменяемое время
Andrey
Тогда не сеть🤷‍♂
но делал то же самое курлом, тогда стреляло)))
Andrey
это какой то бля глюк на квантовом уровне : D
Sergey
это какой то бля глюк на квантовом уровне : D
Да, но наверно не в gke. Сеть они делать умеет и некоторые сервисы gcp висят на gke
Andrey
да я собственно такого же мнения, сетка у них должна быть крутой
Sergey
да я собственно такого же мнения, сетка у них должна быть крутой
Открой им тикет с примером curl Может че помогут
Andrey
Открой им тикет с примером curl Может че помогут
да вот походу это последняя надежда
Дмитрий Харитонов
а limits не стоят часом?
ограничений нет
Dmytro
то есть например 1 из 10 запросов вот так стреляет
может та старая бага с conntrack и dns race condition? Какая версия куба и kubedns или coredns?
Dmytro
Привет, кто-нибудь сталкивался с тем как сделать статический ip для egress?
вот такая штука пробегала в этом чате https://github.com/nirmata/kube-static-egress-ip и istio вроде это умеет, сам ен пробовал
Andrey
Dmytro
о ну похоже
Dmytro
появилось в 1.10 и вроде только переезд на coredns помогала и то частично
Dmytro
(там еще был патч для ядра, может его приняли уже)
Dmytro
сейчас поищу статью
Dmytro
даже в 1.7 вроде https://github.com/kubernetes/kubernetes/issues/56903
Dmytro
ага и статья https://blog.quentin-machu.fr/2018/06/24/5-15s-dns-lookups-on-kubernetes/
Dmytro
не знаю какое состояние проблемы сейчас, думаю надо почитать комменты в issue
Sergey
Ilia
Но пока не попробовал
Andrey
да, оч похоже по симптомам на днс
Andrey
если слать кучу запросов подряд то все ок (видимо кеш), а если реже - то стреляет
Andrey
сейчас поищу статью
спасибо большое, буду читать
Sergey
спасибо большое, буду читать
Обнови куб. Gke это легко делает, но почитай что меняется а то может сломать
Sergey
да, оч похоже по симптомам на днс
Да, оно видел такую хрень на проде еще через копс
Andrey
Обнови куб. Gke это легко делает, но почитай что меняется а то может сломать
попробуем обновить на деве сначала, у нас аналогичный кластер там на тех же версиях, специально так делали тк для нас новая была технология (чтоб обкатывать если че)
Sergey
Ножы не трогать в начале
Andrey
а вот фиг знает умеет gke так апдейтить
Dmytro
то есть можно попробовать обновить куб?
как минимум попробовать перейти на coredns
Sergey
а вот фиг знает умеет gke так апдейтить
Там есть на версия для мастеров и для нодов
Andrey
как минимум попробовать перейти на coredns
надо будет почитать как это сделать не уложив ниче))
Dmytro
в gke это вроде бы галочка - use coredns
Dmytro
но я не настоящий сварщик по gke если что 🙂
Sergey
в gke это вроде бы галочка - use coredns
Да но может скажет на новом кластере без проблем
Andrey
в gke это вроде бы галочка - use coredns
есть галочка, но она для istio) для корднс ничего такого нет
Sergey
https://cloud.google.com/kubernetes-engine/docs/release-notes GKE v1.13.x uses kube-dns rather than core-dns.
Sergey
там еще есть ссылка типо что меняется с версии на версию
Sergey
ну типо с 1.13
G72K
И древний Calico версии 3.0.х кажется :)
Andrey
такс, получается раз бага в kube-dns, то 1.13 это хуже?)
Sergey
аа сек
Sergey
короче хрен знает но предлогают тебе от тикет с этим багом с гита скажи у тебя такой ловится на курле пример и спроси куда обновлятся
Sergey
если там баг то это их проблема gke😏
Andrey
понял, спасибо большое
Andrey
но я попробую сначала просто апдейт накатить (к тому же в gke уже алерт типа рекомендует обновиться настоятельно)
Andrey
если после этого трабла не исчезнет - заведу тикет (один хрен обнова - это первое что они предложат, зная как морозит людей любой сапорт)
Dmytro
в селфхостед кубе и EKS амазоновском можно самому поменять kubedns на coredns
Dmytro
как там в GKE не в курсе но думал там галочка есть