Используем, а в чем вопрос?

Я немнного в этом вопросе "темный лес". Сейчас мне нужно сделать подобную систему, но не совсем понимаю как это реализуется.

Используем, а в чем вопрос?

Интересен опыт других людей и кейсы реализации.

Так, стоп. В изначально вопросе вижу слово «метрики», а не логи. Это не опечатка?)

Так, стоп. В изначально вопросе вижу слово «метрики», а не логи. Это не опечатка?)

Ой! Извиняюсь, опечатка! З.Ы. Исправил

В общем и целом, в грейлог можно писать любым популярным сборщиком логов. У нас схема такая: свои приложения пишут логи в грейлог напрямую, то что не умеет писать напрямую пишет в stdout, а дальше цепочка journald —> rsyslog —> graylog

Где можно приобрести дешевый кластер, чтобы поиграться с кубернетесом? У меня слишком слабая машина, чтобы миникуб запустить

https://github.com/kelseyhightower/kubernetes-the-hard-way

Гуглклауд выделяет 300$ при регистрации - этого хватит

300 баксов?

Спасибо, гляну

врет он все

GCP для РФ недоступна для физлиц

почему ?

там только контора или ИП

2 недели назад делал, всё ок было

В общем и целом, в грейлог можно писать любым популярным сборщиком логов. У нас схема такая: свои приложения пишут логи в грейлог напрямую, то что не умеет писать напрямую пишет в stdout, а дальше цепочка journald —> rsyslog —> graylog

Я вот думаю filebeat в режиме DaemonSet использовать в кластере, и отправлять логи в эластик

а я 2 недели назад делал, ок не было давай перепроверим:)

2 недели назад делал, всё ок было

Я тоже регался но, вроде как юр.лицо себя указал или как то так

2 недели назад делал, всё ок было

тип аккаунта бизнес с конторой, адресом и способом оплаты

а я 2 недели назад делал, ок не было давай перепроверим:)

зашел, посмотрел "До конца бесплатного пробного периода остается 283,87 $ и 353 дн."

Я вот думаю filebeat в режиме DaemonSet использовать в кластере, и отправлять логи в эластик

Ну это вроде довольно популярный вариант. Но и filebeat тоже умеет писать в graylog

тип аккаунта бизнес с конторой, адресом и способом оплаты

это только для соблюдения здешних законов, гугл информацию не собирается проверять

Ну это вроде довольно популярный вариант. Но и filebeat тоже умеет писать в graylog

Как думаешь, нормальный будет кейс если я вытащю все компоненты грейлога за пределы кластера k8s?

А де гарантия что с очередным апдейтом ос/сервиса, допустим под закрытие уязвимостей, не помрет мониторинг?

Жизнь вообще вероятностная штука

Ещё вот такая ссылка есть, DO 100$ выделяет на 2 месяца https://try.digitalocean.com/performance/?refcode=e8a7842ff717&utm_campaign=Referral_Invite&utm_medium=Referral_Program&utm_source=CopyPaste

коллеги, а кто-нибудь сталкивался с днс проблемами в 1.10 на AWS (причем насколько я вижу иногда фейлятся dns запросы к AWS ресурсам)? Сетапил кластер копсом, незнаю насколько это важно в логах приложения это выглядит вот так Noticed exception 'Awesomite\ErrorDumper\StandardExceptions\ShutdownErrorException' with message 'E_WARNING PDO::__construct(): php_network_getaddresses: getaddrinfo failed: Temporary failure in name resolution'

до этого долго крутилось все тоже на 1.5 и не было такиз проблем с днс (но были в 1.3 и 1.4 раньше помнится)

причем оба кластера смигрированных с 1.5 на 1.10 имеют эти проблемы, а 4 ещё не смигринованные нет

Как думаешь, нормальный будет кейс если я вытащю все компоненты грейлога за пределы кластера k8s?

Ну а почему нет? Пихать или не пихать это дело в куб зависит от ваших хотелок. У нас грейлог внешний, но это объясняется тем, что у нас далеко не все в кубере живет и грейлог появился задолго до появления кубера.

добавил в каждый подн днс полиси: dnsPolicy: "ClusterFirst" dnsConfig: options: - name: ndots value: "1" - name: timeout value: "1" - name: attempts value: "3" - name: single-request-reopen стало сильно меньше запросов в логах kube-dns но проблема не исчезла

Ну а почему нет? Пихать или не пихать это дело в куб зависит от ваших хотелок. У нас грейлог внешний, но это объясняется тем, что у нас далеко не все в кубере живет и грейлог появился задолго до появления кубера.

В целом понял.Спс

напротив, он означает что там может вылезти апдейт с говном, могут подменить пакеты, может вообще все пиздой накрыться

Что плохо в желании уметь пересобрать софт, которым пользуешься. Вы ж наверно не разрешаете во внутренний docker registry пушить с девелоперской машины, хотите чтобы CI повторяемо собирал.

В общем и целом, в грейлог можно писать любым популярным сборщиком логов. У нас схема такая: свои приложения пишут логи в грейлог напрямую, то что не умеет писать напрямую пишет в stdout, а дальше цепочка journald —> rsyslog —> graylog

вопрос, при такой схеме теряется метаинфа о namespace, deployment, pod, container ?

не знаю как это нормально отдебажить, не дампить же весь траффик на всех нодах в ожидании проблемы

вопрос, при такой схеме теряется метаинфа о namespace, deployment, pod, container ?

смотря как писать

как обычно приложения пишут )))

тотже kube-dns calico nginx-ingress...

коллеги, а кто-нибудь сталкивался с днс проблемами в 1.10 на AWS (причем насколько я вижу иногда фейлятся dns запросы к AWS ресурсам)? Сетапил кластер копсом, незнаю насколько это важно в логах приложения это выглядит вот так Noticed exception 'Awesomite\ErrorDumper\StandardExceptions\ShutdownErrorException' with message 'E_WARNING PDO::__construct(): php_network_getaddresses: getaddrinfo failed: Temporary failure in name resolution'

Известная проблема, в интернете докопали до того, что если два пакета паралельно запись в conntrack создают, то один отвалится с ошибкой. А два пакета возникают когда резолвер либа в алпайне шлет все search domains одновременно

Что плохо в желании уметь пересобрать софт, которым пользуешься. Вы ж наверно не разрешаете во внутренний docker registry пушить с девелоперской машины, хотите чтобы CI повторяемо собирал.

я об этом же как бы. а вот брать ноунейм бинарный репозиторий из интернета, который контролирует хз кто - это так себе идея.

добавил в каждый подн днс полиси: dnsPolicy: "ClusterFirst" dnsConfig: options: - name: ndots value: "1" - name: timeout value: "1" - name: attempts value: "3" - name: single-request-reopen стало сильно меньше запросов в логах kube-dns но проблема не исчезла

Решил переводом на coredns

я об этом же как бы. а вот брать ноунейм бинарный репозиторий из интернета, который контролирует хз кто - это так себе идея.

Тут нет черного и белого. Вон maven central вполне себе ноунейм :) тоже пересобирать? Везде где видел максимум кешируют у себя

Решил переводом на coredns

а можете поделиться статьей по которой заменяли kube-dns на core-dns? Я нашел какой-то хелм чарт но с полпинка не завелось, потом тут же в чате почитал про проблемы с перформансом у core-dns и решил пытаться дальше докручивать kube-dns

Тут нет черного и белого. Вон maven central вполне себе ноунейм :) тоже пересобирать? Везде где видел максимум кешируют у себя

там есть слово "ноунейм". а вот отказываться от какого-то софта потому что у него нет "официального" репозитория с пакетами - так себе идея.

и кстати, как у core-dns с перформансом у вас?

как обычно приложения пишут )))

так они по умолчанию пишут в докер лог в json, тот же fluentd имеет плагин которые умеет ходить в апи кубера с айдишником контейнера и подтягивать метаданные, filebteat наверняка тоже. Вот если писать напрямую в journald или syslog то уже скорее всего метаданные не подсосать

тотже kube-dns calico nginx-ingress...

С них как раз собирает через journald + rsyslog и ничего не теряем, потому что юзаем labels докера

а можете поделиться статьей по которой заменяли kube-dns на core-dns? Я нашел какой-то хелм чарт но с полпинка не завелось, потом тут же в чате почитал про проблемы с перформансом у core-dns и решил пытаться дальше докручивать kube-dns

перформанс coredns от того что оно на сервере делает поиск по searchdomains (ну на малых обьемах, может у гигантов на сотни нод что-нибудь другое всплывает)

Известная проблема, в интернете докопали до того, что если два пакета паралельно запись в conntrack создают, то один отвалится с ошибкой. А два пакета возникают когда резолвер либа в алпайне шлет все search domains одновременно

а нет случайно ссылки где обсуждалось или на баш репорт? Почитать попдробнее, может какие костыли там предлагают (что-то на core-dns с 1.10 неохота лезть, тогда уже на 1.11 обновится сначала а лучше вообще подождать пока он станет постабильнее)

а можете поделиться статьей по которой заменяли kube-dns на core-dns? Я нашел какой-то хелм чарт но с полпинка не завелось, потом тут же в чате почитал про проблемы с перформансом у core-dns и решил пытаться дальше докручивать kube-dns

Делал по статье с сайта кореднс что-то типа "coredns migration", на bare-metal завелось 5ю командами

а нет случайно ссылки где обсуждалось или на баш репорт? Почитать попдробнее, может какие костыли там предлагают (что-то на core-dns с 1.10 неохота лезть, тогда уже на 1.11 обновится сначала а лучше вообще подождать пока он станет постабильнее)

Вот кул стори о которых не рассказывают продавцы кубов :) https://blog.quentin-machu.fr/2018/06/24/5-15s-dns-lookups-on-kubernetes/

угу эту статью я видел и по мотивам накрутил dnsPolicy

и кстати, как у core-dns с перформансом у вас?

Норм

а нет случайно ссылки где обсуждалось или на баш репорт? Почитать попдробнее, может какие костыли там предлагают (что-то на core-dns с 1.10 неохота лезть, тогда уже на 1.11 обновится сначала а лучше вообще подождать пока он станет постабильнее)

О, с 1.5 удалось слезть? :) как прошло?

а можете поделиться статьей по которой заменяли kube-dns на core-dns? Я нашел какой-то хелм чарт но с полпинка не завелось, потом тут же в чате почитал про проблемы с перформансом у core-dns и решил пытаться дальше докручивать kube-dns

https://github.com/coredns/deployment/tree/master/kubernetes

Даже 3мя командами ;)

спасибо это вышлядит лучше хелм чарта, поковыряюсь

реально 3 команды: первая генерит ямл, потом проверяешь его (глазками на всякий пожарный), применяешь

господа и или дамы. есть кто-нибудь кто использует cert-manager?

и сносишь (предварительно сохранив на всяк пож) кубе-днс

господа и или дамы. есть кто-нибудь кто использует cert-manager?

Есть

Друзья, в четверг мы выступали с докладом на Moscow Kubernetes Meetup в Mail.RU, а теперь хотим пригласить вас на свой митап в Фонде "Сколково" 13 сентября. Расскажем про Kubernetes и ответим на вопросы. Будем рады всех видеть - регистрируйтесь по ссылке и рассказывайте друзьям. Всем стабильного прода! https://exon-lab-events.timepad.ru/event/784737/

Есть

вопрос такой. там при конфиге требуют вот такое:

# The ACME server URL server: https://acme-staging.api.letsencrypt.org/directory # Email address used for ACME registration email: myemail@gmail.com # Name of a secret used to store the ACME account private key privateKeySecretRef: name: letsencrypt-staging

где брать вот этот private key?

Не помню,,делал по README.md все заработало. Доеду посмотрю, если не забуду

ERROR: S client not available

просто во всех гайдах написано что надо просто насоздавать а где взять секрет никто не говорит почему-то

просто во всех гайдах написано что надо просто насоздавать а где взять секрет никто не говорит почему-то

apiVersion: certmanager.k8s.io/v1alpha1 kind: Certificate metadata: name: my-minio namespace: default spec: secretName: my-minio-ru-tls issuerRef: name: letsencrypt commonName: minio.my.ru dnsNames: - minio.my.ru acme: config: - http01: ingressClass: nginx domains: - minio.my.ru

это сертификат

а ClusterIssuer?

apiVersion: certmanager.k8s.io/v1alpha1 kind: Issuer metadata: name: letsencrypt spec: acme: # The ACME production api URL server: https://acme-v02.api.letsencrypt.org/directory # Email address used for ACME registration email: dev@my.ru # Name of a secret used to store the ACME account private key privateKeySecretRef: name: letsencrypt-production # Enable the HTTP-01 challenge provider http01: {}

вот собственно и вопрос — что класть в letsencrypt-production ?)

Это "куда закинутЬ"

А не откуда взять

аааааааааа!

всё, теперь понял )) спасибо

apiVersion: certmanager.k8s.io/v1alpha1 kind: Issuer metadata: name: letsencrypt spec: acme: # The ACME production api URL server: https://acme-v02.api.letsencrypt.org/directory # Email address used for ACME registration email: dev@my.ru # Name of a secret used to store the ACME account private key privateKeySecretRef: name: letsencrypt-production # Enable the HTTP-01 challenge provider http01: {}

не понимаю зачем разжевывать то что в доке написано https://cert-manager.readthedocs.io/en/latest/tutorials/acme/http-validation.html если человеку нужно, он жеж прочтет и попытается понять. нафига сюда накидывать yaml

Да капец как трудно в начале стартануть. Потом уже спокойно доки читаются.

Я просто скинул как у меня работает, особо не расжевывал.

я полдня абсолютно слепо игнорировал слово store в этом комменте :(

У кого-нибудь работает куб, который mail.ru на митапе раздавал?

У кого-нибудь работает куб, который mail.ru на митапе раздавал?

я глянул на цены и промокод не помог дальше

Просто интересно исследовать инсталляцию на опенстеке

реально 3 команды: первая генерит ямл, потом проверяешь его (глазками на всякий пожарный), применяешь

нашел что в копс 1.10 запилили флаг https://coredns.io/2018/05/21/migration-from-kube-dns-to-coredns/ без этого при следующем апдейте кластера через kops я так понимаю он мне поставит обратно kube-dns

Спасибо, буду иметь ввиду

Коллеги, вопрос по шаблонам HELM Как в таком вот случае получить имена ключей {{- range .Values.app }} {{ .keyname }} (keyname это app_1 или app_2) values: app: app_1: some options: A app_2: some options: B

{{- range $key, $value := .Values.hermesEnvSecrets }} {{ $key }}: {{ $value | b64enc | quote }} {{- end }}

{{- range $key, $val := .Values.app }} Ага, спасибо, сам уже откопал ))

Где можно приобрести дешевый кластер, чтобы поиграться с кубернетесом? У меня слишком слабая машина, чтобы миникуб запустить

packet.net 0,07€ в час

Где можно приобрести дешевый кластер, чтобы поиграться с кубернетесом? У меня слишком слабая машина, чтобы миникуб запустить

Hetzner cloud

/report

@SinTeZoiD приходи

hello anyone can help?

$kubectl get pods The connection to the server .00000:6443 was refused - did you specify the right host or port?

check kubeconfig?

hum

when i try to init