30к rps может вывести nginx на одном ядре со статикой без https. Такое себе сразу говорить про 8ядер/8gb

Если тюнить sysctl то да)

30к rps может вывести nginx на одном ядре со статикой без https. Такое себе сразу говорить про 8ядер/8gb

Это на 10G сетевушках?

коллега не понимает, что под нагрузкой мастера могут развалиться вместе с кластером 🙈 etcd там чувствительный по cpu. не стоит нагружать мастера, совсем. ничем.

а еще можно метлу привязать. пока падать будут - подметут вокруг стойки

Это на 10G сетевушках?

https://www.nginx.com/blog/testing-the-performance-of-nginx-and-nginx-plus-web-servers/

30к rps может вывести nginx на одном ядре со статикой без https. Такое себе сразу говорить про 8ядер/8gb

Он и 100k может если подтюнить

https://www.nginx.com/blog/testing-the-performance-of-nginx-and-nginx-plus-web-servers/

Видел ранее, хорошая статья. Значит 40G и 30k rps...

У меня на 2к rps Nginx 2 гига отжирает. Как они в 16 гб 30к вместили?

В k8s?

У меня на двух ядрах не мог отбить ддос, все адреса были в блоке. Поток 1гбит был.

LA высокий был

В k8s?

Нет просто тачка с Nginx перед воркернодами с ингресами

Входящий поток*

Неа, будто nginx ingress свои значения подставляет и вставляет туда адрес прокси, а не реального клиента

так и есть https://nginx.org/ru/docs/http/ngx_http_realip_module.html#set_real_ip_from

рекомендую https://github.com/containous/whoami для отладки

мало ли еще не было

можно через аннотацию сервер сниппет добавить ее в конфиг ингресса

https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/annotations/#server-snippet

Я бы не отказался от gitlab runner с github

это поддерживаемый режим работы

можно через аннотацию сервер сниппет добавить ее в конфиг ингресса

Спасибо. Только что я там должен прописать ? Proxy set header разве ?

Я подумал, что может быть есть какая то CI/CD заточенная прям под кубер, что б крутилась внутри агентов себе создавала, умела did ну всякое такое

https://containerum.com

Я бы не отказался от gitlab runner с github

https://docs.gitlab.com/ee/ci/ci_cd_for_external_repos/

https://docs.gitlab.com/ee/ci/ci_cd_for_external_repos/

Мне держать github+gitlab ради ci? Нет спасибо 😳

gitlab runner без папы не работает

Но в плане кластеров очень удобно

Не обязательно на хосте гонять

От задачи зависит. Есть противоположный пример со статикой. Можно собирать nginx контейнер со статикой и его деплоить. Но я сейчас делаю init container, который выкачивает tar с s3 и запускает nginx на содержимое. Удобно.

и чем это удобнее чем запаковать статику в сам image? Где при упаковке можно пожать по максимум gzip'ом файлы чтобы приготовить их для нжинкс, в том числе со всякими zopfli, пережать картинки в webp и прочее?

и чем это удобнее чем запаковать статику в сам image? Где при упаковке можно пожать по максимум gzip'ом файлы чтобы приготовить их для нжинкс, в том числе со всякими zopfli, пережать картинки в webp и прочее?

1 nginx на всю статику

3 если репликами считать *

У меня много статики, относительно конечно, 25-30 проектов. 50-60 контейнеров не радуют

Спасибо. Только что я там должен прописать ? Proxy set header разве ?

set_real_ip_from ipадреспрокси;

set_real_ip_from ipадреспрокси;

Ага, спасибо! Я просто в дороге, приеду попробую обязательно. Я тупой -- не догнал что прописать нужно, сегодня уже читал про это да)

И тогда я получу в приложение реквест с корректным адресом в заголовке, правильно я понял?

У меня много статики, относительно конечно, 25-30 проектов. 50-60 контейнеров не радуют

складывание всех яиц в одну корзину это конечно выбор каждого, но если так уж хочется почему нельзя сложить всю статику из всех проектов в один image? сделать все тот же cp tar но на CI?

Привет. А может есть у кого на русском в ePub?

складывание всех яиц в одну корзину это конечно выбор каждого, но если так уж хочется почему нельзя сложить всю статику из всех проектов в один image? сделать все тот же cp tar но на CI?

- Слои постоянно будут сбрасываться - я в будущем хочу написать sidecar, который будет выкачивать и делать reload

У меня много статики, относительно конечно, 25-30 проектов. 50-60 контейнеров не радуют

Можно умножить на 2-4, потому что каждая ветка статики раскатывается для review

Привет. А может есть у кого на русском в ePub?

Мож на рутрекере есть. Я на английском ток купил.

Я подумал, что может быть есть какая то CI/CD заточенная прям под кубер, что б крутилась внутри агентов себе создавала, умела did ну всякое такое

banzai cloud? pipelines? argo-ci? spinnaker?

- Слои постоянно будут сбрасываться - я в будущем хочу написать sidecar, который будет выкачивать и делать reload

тоже верно, в целом если при заливке в S3 делать все эти сжатия-пережимания и настроить нжинкс сервить сразу .gz и прочие отпимизации для статики то будет то же самое. Вот только этим мы открываем новую can of worms - почему файл статики вдруг не отдается или отдается битый

https://www.slideshare.net/try_except_/optimizing-kubernetes-resource-requestslimits-for-costefficiency-and-latency-highload блин когда они уже видео выложат

(можно прокрутить сразу на 62 второй слайд если интересуют только рекомендации)

https://www.slideshare.net/try_except_/optimizing-kubernetes-resource-requestslimits-for-costefficiency-and-latency-highload блин когда они уже видео выложат

https://www.youtube.com/watch?v=eBChCFD9hfs

господа, а кто-то встречал такое странное поведение у kops, что он спустя 15 минут не меняет айпишник-плэйсхолдер на айпишник мастера? такой баг был в очень далеких версиях, сейчас использую 1.11.1(aws провайдер) и как-то не понятно чем вызвано, пробовал также пересоздавать и всё равно не хочет

https://www.youtube.com/watch?v=eBChCFD9hfs

ооо спасибо

set_real_ip_from ipадреспрокси;

Все, я разобрался: в конфиг nginx-ingress-controller прописал proxypass header

и чем это удобнее чем запаковать статику в сам image? Где при упаковке можно пожать по максимум gzip'ом файлы чтобы приготовить их для нжинкс, в том числе со всякими zopfli, пережать картинки в webp и прочее?

Для статики и ассетов, как-то юзал minio, интерфейс S3, удобно. Вродекак(сам не пробовал) можно использовать как Кеш-прокси к S3 и другим хранилищам объектов.

Для статики и ассетов, как-то юзал minio, интерфейс S3, удобно. Вродекак(сам не пробовал) можно использовать как Кеш-прокси к S3 и другим хранилищам объектов.

кеш прокси к s3 - проблемы инвалидации - нет try_files

Все, я разобрался: в конфиг nginx-ingress-controller прописал proxypass header

use-forwarded-headers "true" -- не хватало

https://docs.gitlab.com/ee/ci/ci_cd_for_external_repos/

С гитлаб все круто, кроме того, что он реально тяжелый и хорошо если много проектов, юзеров, раннеров и достаточно ресурсов выделено под сам CI да и полностью автономным не назовёшь его нужно админить , а не как дрон, установил и только конфигурации пишет. Для себя юзаю Drone.io.

concourse хороший вариант... заодно реализует kubernetes easy way сходу без костылей (infra, манифесты и тп в отдельной репе).

Подтолкните в направлении нужном. У меня есть 10 микросервисов. Каждый со своей версией. Как мне сделать по умному CI/CD используя Jenkins и HELM?

кеш прокси к s3 - проблемы инвалидации - нет try_files

Я юзал как самостоятельное хранилище, стаб в дев окружении. В продакшене S3. Но видел возможности использовать как кеш к разнородным хранилищам, через один интерфейс. Руки не дошли попробовать.

Подтолкните в направлении нужном. У меня есть 10 микросервисов. Каждый со своей версией. Как мне сделать по умному CI/CD используя Jenkins и HELM?

Я бы сделал отдельгыми helm чартами

Я бы сделал отдельгыми helm чартами

Вот у меня сейчас такая идея в голове

Только почитать бы что-нибудь про это

Вот у меня сейчас такая идея в голове

Либо попробовать эти 10 микросервисов сгруппировать как то и для каждой группы сделать отдельный helm chart

А вообще если кто то выскажет свой опыт то буду рад. У самого такая дилема возникает

А вообще если кто то выскажет свой опыт то буду рад. У самого такая дилема возникает

+++

https://github.com/kubernetes/kubernetes/pull/75682 мда, такие очевидные баги все ещё открыты

вся суть cpu manager/cpuset теряется же

concourse хороший вариант... заодно реализует kubernetes easy way сходу без костылей (infra, манифесты и тп в отдельной репе).

+100

и может было уже, в релейтедах всплыла ещё тут всплыла утилита от Хеннига https://github.com/hjacobs/kube-janitor

https://github.com/kubernetes/kubernetes/pull/75682 мда, такие очевидные баги все ещё открыты

CFS quota отключить просто и всё.

https://github.com/kubernetes/kubernetes/pull/75682 мда, такие очевидные баги все ещё открыты

https://github.com/zalando-incubator/kubernetes-on-aws/issues/1026#issuecomment-436350996

weave юзал кто? как впечатления?

CFS quota отключить просто и всё.

так причем тут, отключить можно но это же не отменяет наличие бага

А скажите, кто-нибудь использует у себя решения для сканирования образов на уязвимости ? Типа Clair или jfrog X-ray ?

Вот у меня сейчас такая идея в голове

+ можно без тиллера генерить манифесты при помощи helm template. Что планируется использоваться как CI/CD систему? Jenkins? Team City? GitlabCI?

А скажите, кто-нибудь использует у себя решения для сканирования образов на уязвимости ? Типа Clair или jfrog X-ray ?

clair

А скажите, кто-нибудь использует у себя решения для сканирования образов на уязвимости ? Типа Clair или jfrog X-ray ?

У mailru используется, предсказывали на последнем куб митапе

У mailru используется, предсказывали на последнем куб митапе

не может быть, mailru сканирует на вирусню...хм, а это точно ?;)

не может быть, mailru сканирует на вирусню...хм, а это точно ?;)

Надо же свои сервера как-то от амиго защищать

Надо же свои сервера как-то от амиго защищать

😂

Надо же свои сервера как-то от амиго защищать

+😰

Я бы сделал отдельгыми helm чартами

На каждый микросервис чарт отдельный?

+ можно без тиллера генерить манифесты при помощи helm template. Что планируется использоваться как CI/CD систему? Jenkins? Team City? GitlabCI?

Дженкинс

На каждый микросервис чарт отдельный?

это целиком нормально, если что.

На каждый микросервис чарт отдельный?

Выше писал

Либо попробовать эти 10 микросервисов сгруппировать как то и для каждой группы сделать отдельный helm chart А вообще если кто то выскажет свой опыт то буду рад. У самого такая дилема возникает