Под капотом vxlan На каком железе хз

Есть вопрос: У меня в контейнерах лежат реплики приложения, которое должно иметь выход в интернет. Как дать им доступ (они должны делать некоторые запросы в интернет) ?

Под капотом vxlan На каком железе хз

Вот это напрягает, откуда он там и зачем

Не Не напрягает Чуваки через это связность глобальную между датацентрами делают По производительности не напрягает Есть ограничения на тему vrrp и прочего Но про это честно сказано Если нужен L2 берётся отдельно А там уже твори что хочешь

servers.com?

Угадал

Болт забей и поставь L2

Железо у них

Я так и решил

Я у них целые стойки со свитчами выделенными городил - там вопрос того как договоришься.

Если надо, могу контакт дать.

У нас ними нормальные договорные отношения

Контакты и так все есть

Ладно Я спать Завтра поговорим Можно кстати и пива попить Я тебе уже кружку пообещал

> Есть ограничения на тему vrrp и прочего L3 как есть. VRRP - мультикаст.

Java когда то написано Стартует количество тредов по количеству cpu Но не больше 24 Железо толстое Времени разработчиков сейчас нет на фикс Мигрировать надо Strace думаю мне здесь не поможет

Оно смотрит в /proc/cpuinfo. Перехватывайте open() через LD_PRELOAD лижу, могу скинуть пример для перехвата listen() , там разберетесь

по Java - оракл же выкатил фикс https://blogs.oracle.com/java-platform-group/java-se-support-for-docker-cpu-and-memory-limits ну и флаги же есть для более старых версий. Мопед не мой, сам яву сейчас в проде не запускаю. С монгой точно такая же проблема у меня но только с памятью - надо ей в конфиг прописать сколько памяти она может юзать, иначе она попытается как обычно выжрать всю оперативу и упадет.

Здрасьте. А кто с filebeat дружи и у него filebeat из конфига host параметр честно передает в сообщениях на logstash/es?

Здрасьте. А кто с filebeat дружи и у него filebeat из конфига host параметр честно передает в сообщениях на logstash/es?

я не смог победить, судя по всему оно не переопределяется, поэтому я просто добавил нужный мне тэг и на него опёрся в logstash

Здрасьте. А кто с filebeat дружи и у него filebeat из конфига host параметр честно передает в сообщениях на logstash/es?

Host в смысле машины на котором запущен filebeat? Да вроде никаких проблем нет

^^^ т.к. тут k8s канал, то я вот про такое processors: - add_kubernetes_metadata: in_cluster: true host: ${FILEBEAT_HOST}

fluentd или filebeat и собирать с диска в эластик.

есть еще fluent-bit. Но это все работает только на малых обьемах логов в секунду. (либо требует больших ресурсов от еластика) Логи из еластика к томуже довольно паскудно читаются.

Почему только на малых работает? Вполне видел большие инсталляции, у меня правда всего ~12-15 гигабайт в день.

У меня в сворме правда - graylog на коленке за 5 минут поднятый 15к рпс кушает и вроде жив пока, хотя поскрипывает иногда, вполне себе решение

У меня в сворме правда - graylog на коленке за 5 минут поднятый 15к рпс кушает и вроде жив пока, хотя поскрипывает иногда, вполне себе решение

Сколько под грейлогом реплик эластика?

Точнее из скольких нод кластер эластика)

И сколько ресурсов под это дело?

Почему только на малых работает? Вполне видел большие инсталляции, у меня правда всего ~12-15 гигабайт в день.

так или иначе все зависит от капасити еластик сервера(кластера). Чтобы увидеть как все умирает на дефолтных инсталяциях - можно врубить nginx ingress json logs, и даже просто logs, и натравить лоадтест хотябы 500-1000rps.

У меня в сворме правда - graylog на коленке за 5 минут поднятый 15к рпс кушает и вроде жив пока, хотя поскрипывает иногда, вполне себе решение

у грейлога под капатом тоже еластик же. Проблемы теже.

отдельно стоит упомянуть, что когда еластик (или прослойка перед ним) начинают захлебываться, то коллекторы пытаются отбуферизировать этот поток, и тоже начинают захлебываться. Ничего приятного короче. Мина замедленного действия.

>то коллекторы пытаются отбуферизировать этот поток, и тоже начинают захлебываться Ни разу с таким не сталкивался, т.к. все логи пишутся в файл и потом файлбитом отсылаются. Если эластик/логстеш втупили, файлбит просто притормаживает отправку и все.

все зависит от того, с какой скоростью ваш энвайромент позволяет писать логи в файлы. Но для к8с уже офтоп.

по Java - оракл же выкатил фикс https://blogs.oracle.com/java-platform-group/java-se-support-for-docker-cpu-and-memory-limits ну и флаги же есть для более старых версий. Мопед не мой, сам яву сейчас в проде не запускаю. С монгой точно такая же проблема у меня но только с памятью - надо ей в конфиг прописать сколько памяти она может юзать, иначе она попытается как обычно выжрать всю оперативу и упадет.

Это как раз sched_getaffinity , работает только если контейнер прибит к конкретным CPU. В кубе оно включается через CPUManager альфа фичу и работает только для qos guaranteed и только для целого значения ядер в cpu limits/requests.

>то коллекторы пытаются отбуферизировать этот поток, и тоже начинают захлебываться Ни разу с таким не сталкивался, т.к. все логи пишутся в файл и потом файлбитом отсылаются. Если эластик/логстеш втупили, файлбит просто притормаживает отправку и все.

Вот, человек пороху нюхал. В докере можно пользоваться только дефолтным json-file логером, все остальное ковбойство

Если не эластик, то что?

кликхаус

кликхаус

так вроде же они для разных вещей предназначены, нет?

хотя не, это немного другое, я с прометеусом перепутал

У нас есть Proof of Concept. Пока глубокая альфа, но гораздо легче, чем ElasticSearch. В плане ресурсов, конечно. Юзабилити ещё тянуть и тянуть. https://github.com/flant/loghouse

велосипед?

там же масса решений

разных

поясните

не масса

совсем

elk онли

для аггрегации логов

я имею в виду

Увидели потенциал Clickhouse в качестве бэкэнда - сделали интеграцию.

Увидели потенциал Clickhouse в качестве бэкэнда - сделали интеграцию.

а что уже есть и чего в ближайших планах?

В issue на GitHub можно посмотреть. Я непосредственно не задействован в разработке, лишь использую в некоторых проектах. Очень хорошо ставится в бюджетные конфигурации серверов.

travis там собирает только чарт => тестов нет?

Пока да, это альфа. К лету будет бета

а на сервисы не смотрели? Мы пробовали Loggly но не очень зашло и казалось дорого, сейчас сидим на AWS ES с которым свои грабли и не сказать что сильно дешево, другие команды у нас сейчас на logz.io - планируем попробовать скоро

Всем привет, у меня проблема с натом у Hetzner. Кто то сталкивался с таким? Мастер kubernetes на vServer'ах. Каждый vServer имеет серый адрес 172.31.1.100. У хостера подход 1:1 nat etcd, apiserver слушают externalIP создавал через kubeadm init --config config.yml apiVersion: kubeadm.k8s.io/v1alpha1 kind: MasterConfiguration api: advertiseAddress: hetzner-ip1 etcd: endpoints: - "http://hetzner-ip1:2379" - "http://hetzner-ip2:2379" networking: podSubnet: 10.244.0.0/16 nodeName: kub1 apiServerCertSANs: - "hetzner-ip1" - "hetzner-ip2" - "127.0.0.1" token: "7596f9fa1cc70" tokenTTL: "0" И вот проблема когда открываешь логи api то там он обращается на какой то левый ip Хетзнера I0215 18:36:40.816104 1 logs.go:41] http: TLS handshake error from 195.201.1.82:48292: remote error: tls: bad certificate

Дорого :) поэтому сделали свое - дешовое

Вот, человек пороху нюхал. В докере можно пользоваться только дефолтным json-file логером, все остальное ковбойство

аналогичные ощущения, сначала пытались в journald но была куча проблем, сейчас с json файликами и в целом получше. Но в моем случае стоит лимит в 50МБ на файлик в анстройках драйвера и можно потерять какие-то строки легко, что не очень критично для наших логов, но для многих может быть важно

Дорого :) поэтому сделали свое - дешовое

свое это на железе в смысле?

У каждого клиента в том же кубе разворачиваем эту систему

а не стремно логи в самом же кластере хранить? если поломался flannel ну или еще там что глобальное - как потом до них долезть и посмотреть логи? не лазить же на каждую ноду смотреть journald или что у вас там для логов системы

и вопрос в догонку, etcd тоже внутри кластера?

они живут в pvc. да и etcd там же

из нашего полтинника инсталяций кубов мы не сталкивались с такими проблемами. еще раз- - это альфа. там не все моменты предусмотрены

хорошо если все работает, мы когда начинали был 1.3 он EBS volume 1 из 20 раз в среднем аттачил, здорово что все сильно улучшилось с тех пор

Большая часть на Ceph RBD. С ним с 1.5, наверное, проблем не было почти. EBS инсталляция стабильно в 1.7 работает в AWS.

Всем кто тут за CRI-O топит, они до сих пор тупо копируют код из моби, когда у них самих что-то отваливается, до тех пор так и живут с протухшим кодом: https://github.com/containers/storage/pull/149 всяких вкусных штук вроде github.com/moby/moby/pull/34670 там еще хз сколько не будет

Увидели потенциал Clickhouse в качестве бэкэнда - сделали интеграцию.

кстати, есть где-то инфа как это (loghouse) развернуть, чтобы кликхаус со всеми флюендтами и прочей обвязкой был не в кубере?

Всем кто тут за CRI-O топит, они до сих пор тупо копируют код из моби, когда у них самих что-то отваливается, до тех пор так и живут с протухшим кодом: https://github.com/containers/storage/pull/149 всяких вкусных штук вроде github.com/moby/moby/pull/34670 там еще хз сколько не будет

оно копирует теперь хардлинками?

если это весь чендж, то это здорово, наконец-то догнали ostree, который только там и делает тащемта

оно копирует теперь хардлинками?

Нет, оно copy_file_range юзает, которое включает COW на последних xfs

кстати, есть где-то инфа как это (loghouse) развернуть, чтобы кликхаус со всеми флюендтами и прочей обвязкой был не в кубере?

а почему НЕ в кубере?

Нет, оно copy_file_range юзает, которое включает COW на последних xfs

интересно, посмотрим что отпишут в том же issue

а почему НЕ в кубере?

есть мнение что мониторить и логировать систему нужно извне этой системы. Это раз. Хранить стейт в кубере тяжело и геморойно - это два.

есть мнение что мониторить и логировать систему нужно извне этой системы. Это раз. Хранить стейт в кубере тяжело и геморойно - это два.

кто сказал?)

здравый смысл (с)

здравый смысл (с)

Достаточно базово мониторить мониторинг, что он жив :)

я всеже предпочитаю телеметрию федерейтить на внешний прометеус. Вообщем, как обычно it depends.

клаудовый prometheus кто нить сервисом предоставляет?

Мониторить в смысле глазами поглядывать?

Периодически