
Sergey
16.06.2018
13:49:29
такое чувство что докер не видел файл

Konstantin
16.06.2018
13:49:54
Он не трогал конфиг же, в systemd писал параметры

Sergey
16.06.2018
13:50:04
он грил и так и так пробовал

Banschikov
16.06.2018
13:50:11

Google

Banschikov
16.06.2018
13:50:26

Konstantin
16.06.2018
13:51:31

Banschikov
16.06.2018
13:52:28
Причем на хосте где раннер развернут гитлабовский я пробовал и daemon.json и через systemd. Там работало. В k8s нет

Konstantin
16.06.2018
13:53:04
С json проще всё же работать)

Sergey
16.06.2018
14:00:26
мне кажется все таки daemon-reload Не было

Banschikov
16.06.2018
14:03:39

Konstantin
16.06.2018
14:04:38

Banschikov
16.06.2018
14:05:12
конец дня.уже голова чуть едет

Dmytro
16.06.2018
14:32:15

Volodimir Fedorov
16.06.2018
14:33:46
fluentd-0.14.25, плагин 2.0.0

Google

Михаил
16.06.2018
14:34:26

Dmytro
16.06.2018
14:34:50
# Tail docker container logs
# Example:
# {"log":"[info:2016-02-16T16:04:05.930-08:00] Some log text here\n","stream":"stdout","time":"2016-02-17T00:04:05.931087621Z"}
<source>
@type tail
path /var/log/containers/*.log
<storage>
@type local
persistent true
path /var/log/storage-docker-containers.pos
</storage>
time_format %Y-%m-%dT%H:%M:%S.%NZ
tag kubernetes.*
format json
read_from_head true
rotate_wait 1s
</source>
# Add kubernetes pod labes to docker container logs
<filter kubernetes.**>
@type kubernetes_metadata
cache_size 10000
</filter>
у меня конфиг выглядит вот так, приходит нормально в эластик json с кучей доп полей от куб плагина
сейчас версии гляну

Volodimir Fedorov
16.06.2018
14:36:38
с format json вот такие логи приходят http://paste.org.ru/?e2d381

Dmytro
16.06.2018
14:37:40
fluent-plugin-kubernetes_metadata_filter (0.28.0)
fluentd (0.14.20)
вот такие версии выходят

Volodimir Fedorov
16.06.2018
14:37:49
с format none вот так http://paste.org.ru/?rkgipf

Dmytro
16.06.2018
14:39:01
а приходят куда, в эластик?

Volodimir Fedorov
16.06.2018
14:39:06
выкрутил trace логи на флуенте.. ошибок от фильтра нет
просто в remote_syslog

Dmytro
16.06.2018
14:39:50
тогда не понял в чем вопрос, в syslog понятно что придет строка

Volodimir Fedorov
16.06.2018
14:40:19
http://paste.org.ru/?xqo509 tcpdump

Dmytro
16.06.2018
14:40:20
пишите сразу в эластик или еще куда где json принимают

Volodimir Fedorov
16.06.2018
14:40:30
в таком виде уже приходит.. дело не в сислоге

Dmytro
16.06.2018
14:41:24
а как идет отправка в сислок? у меня в эластик в graylog формате отправляется
<match **>
@type "aws-elasticsearch-service"
@log_level info
buffer_chunk_limit 1M
buffer_queue_limit 64
flush_interval 10s
retry_wait 5s
retry_limit 20
max_retry_wait 50s
num_threads 8
include_tag_key true
logstash_format true
#template_name "fluentd-elasticsearch"
remove_keys SYSTEMD_SLICE, BOOT_ID, CAP_EFFECTIVE, GID, MACHINE_ID, PRIORITY, SELINUX_CONTEXT, SYSLOG_FACILITY, SYSTEMD_CGROUP, SYSTEMD_SLICE, SYSTEMD_UNIT, UID
time_key time
reconnect_on_error true
request_timeout 15s
<endpoint>
url https://${ELASTICSEARCH_HOST:?}
region ${AWS_REGION:?}
access_key_id ${AWS_ELASTICSEARCH_KEY:?}
secret_access_key "${AWS_ELASTICSEARCH_SECRET:?}"
</endpoint>
</match>
возможно, на этапе отправки в syslog ломается?

Volodimir Fedorov
16.06.2018
14:42:02
http://paste.org.ru/?6gfqyh
вроде все правильно написано

Dmytro
16.06.2018
14:43:35
ну как же, стоит format none а не json

Google

Dmytro
16.06.2018
14:43:42
это 1

Volodimir Fedorov
16.06.2018
14:43:54

Dmytro
16.06.2018
14:44:46
2 - насколько я помню pos_file /fluentd/log/fluentd-cluster-logging.pos депрекейтед был еще полтора года назад и надо было подсекцию с <storage> городить
я пробовал)
оно не может работать не с json - плагин метадаты поля в json документ будет дописывать
если считать не в формате json то плагин метадаты даже не уверен что сделает, скорее всего обернет в еще один json и потом напихает доп полей

Stas
16.06.2018
14:47:34

Volodimir Fedorov
16.06.2018
14:48:12
в том и проблема что плагин отрабатывает почти как надо.. только исходный лог улетает отдельным сообщением..
а за ним следует лог с метадатой

Dmytro
16.06.2018
14:48:51
ну и нужно добавлять обязательно тег докер логам чтобы потом метадата фильтр по тегу матчился, т.е.
tag kubernetes.*
format jsonи потом
<filter kubernetes.**>
@type kubernetes_metadata
</filter>

Михаил
16.06.2018
14:49:17
лежачих не бьют?
Не модно просто. Народ перестал хотеть большой кластер и теперь делает его в виртуалках и облаках

Volodimir Fedorov
16.06.2018
14:49:20
в моем файле конфига так и написано

Dmytro
16.06.2018
14:50:41
в том что я вижу стоит format none

Dmytro
16.06.2018
14:51:04
что очевидно работать не сможет

Volodimir Fedorov
16.06.2018
14:51:34
изменил на json.. результат http://paste.org.ru/?brnycu
два отдельных сообщения
метадата правильная
но сам лог уже не в json формате :)

Dmytro
16.06.2018
14:55:06
добавь
<system>
@log_level debug
</system>посмотри что он по шагам делает

Volodimir Fedorov
16.06.2018
14:56:08
http://paste.org.ru/?4zue9c

Dmytro
16.06.2018
14:57:14
затрудняюсь сказать чего не хватает, в remote syslog никогда не пробовал писать. Возможно какие-то из этих флагов еще помогут:
<match **>
include_tag_key true
logstash_format true
time_key time

Google

Volodimir Fedorov
16.06.2018
14:57:31
спасибо, сейчас попробую
на все 3 параметра поругалось что not used

Dmytro
16.06.2018
14:59:37
по сути с теми 3 кусками конфига что я писал выше у меня успешно считывает в json формате из докер логов, метадата фильтр докидывает поля и потом этот json пишется в AWS elastic. Контейнер этот я сбилдил больше года назад и версии всего там старые, с тех пор все работает. Может все-таки в новых версиях поменяли что-то

Volodimir Fedorov
16.06.2018
14:59:52
[warn]: parameter 'time_key' in <match kubernetes.**> </match> is not used. в таком виде

Admin
ERROR: S client not available


Denis
16.06.2018
15:00:21
? MOSCOW KUBERNETES MEETUP 3
5 месяцев?! Друзья, коллеги, мы не встречались целую вечность! Хватит, хватит это терпеть! 20 июня, офис Ingram Micro. Kubernetes, Москва, снова вместе. Kubernetes стал стандартом де-факто в мире кластером. Чат русскоговорящего сообщества Kubernetes в Telegram ( https://t.me/kubernetes_ru ) перегрет горячими обсуждениями. Нас уже более 1500 участников. Казалось бы, всё уже обсудили, но нет. На этот раз, наш ждёт что-то новое. Выходим за границы привычного. Впервые у нас в гостях англоязычный спикер. Поэтому, отменяйте планы на среду, приглашайте с собой коллег и готовьтесь погрузиться в новый большой мир. Настала пора обсудить – куда же мы все пришли за последние 15 месяцев?
ПРОГРАММА:
19:00 - 19:20 Socializing
19:20 - 19:35 Welcome & digest, some fun
19:35 - 20:15 Networking and security in Kubernetes (Emil Gągała, VMware, EMEA Network and Security Architect)
Do I need something more than Flannel? Flannel seems to be most popular networking option in Kubernetes. Is it the only choice? How to implement namespaces, services, ingress controller, network policy in more efficient way? And not forget about 2 day operations simplicity? Join my session to see live demo of K8S networking with VMware NSX.
Bio: Emil Gągała – network consultant, enthusiast of cloud technology and cloud native applications. Graduate of telecommunications at Warsaw University of Technology. Three years ago he joined VMware team as EMEA Network & Security Architect. Involved in NSX projects in areas of Kubernetes, OpenStack and Cloud. Previously he worked as Senior System Engineer in Juniper Networks. He has expertise in area of core networks, data centers and security. VCIX-NV, AWS-CSA and JNCIE certified.
20:15 - 20:55 Kubernetes Bare Metal (Михаил Жучков, Neuron Digital, SRE Team Lead)
В данном докладе Михаил расскажет о том, как жить с Kubernetes на "железных" серверах без облаков. Про L3 сети, про Calico, про его дружбу с OSPF. Поднимутся проблемы написания своих плейбуков для установки кластера и обсудим плюсы-минусы такого подхода.
Био: Михаил – "классический" админ с 10-летним стажем, нырнувший пару лет назад в модный стек технологий. С радостью познаёт новые технологии и с болью смотрит на то, как их познают другие. Известен своими провокациями про OpenStack vs Kubernetes. ?
20:55 - 21:15 Кофе-брейк, чай-пати, горячие дискуссии
21:15 - 22:00 Обзор Kubernetes как сервиса от облачной платформы Mail.Ru (Дмитрий Лазаренко, Mail.Ru Group, Product Manager)
Недавно компания Mail.Ru Group запустила Kubernetes как услугу в облаке Mail.Ru Cloud Solutions, которая позволяет быстро создавать и масштабировать кластеры Kubernetes, включая multi master. В докладе Дмитрий расскажет о том, что под капотом этого решения - про функциональную начинку и системную архитектуру, про интеграцию с IaaS-платформой на базе OpenStack (приватные сети, блочные и NFS Persistent Volumes и PVC, LoadBalancer), а также про модель безопасности.
Био: Дмитрий отвечает за PaaS-сервисы B2B-облака Mail.Ru, включая контейнерные решения на базе Kubernetes. До этого, в течение 6 лет работал в Jelastic, отвечал за разработку и развитие контейнерной PaaS-платформы. Эксперт в построении высоконагруженных сервисов.
22:00 - 6:00 Afterpaty? ?
УСЛОВИЯ УЧАСТИЯ:
1. Мероприятие бесплатное.
2. Регистрация по ссылке - https://www.meetup.com/Moscow-Kubernetes-Meetup/events/251806061/
3. Вход строго по регистрации. ВНИМАНИЕ! Необходимо обязательно указать в настройках профайла на Meetup.com свои имя и фамилию.
ВОПРОСЫ?
Появились вопросы или готовы выступить с докладом на следующем митапе? Пишите в Telegram:
- https://t.me/DenisIzmaylov
Или на e-mail: events@axept.co
Парни, готовьте вопросы на английском языке


Dmytro
16.06.2018
15:01:49

Volodimir Fedorov
16.06.2018
15:19:23
все, победилось
<format>
@type json
</format> в секцию match

MVP
16.06.2018
17:46:33
А есть какой то аналог dockerhub - для готовых pods под типовые задачи ? Ну там CMS развернуть или какой то Lamp- окружение например?

Айбелив
16.06.2018
17:47:19

MVP
16.06.2018
17:48:40
А что там все плохо?

Айбелив
16.06.2018
17:49:06
местами облачно, но пользоваться можно

Banschikov
16.06.2018
17:50:33

Айбелив
16.06.2018
17:52:04
гуглите тут helm, тут раньше холивары (обоснованные) каждую неделю были

Juriy
16.06.2018
17:52:45

Banschikov
16.06.2018
17:53:18

Айбелив
16.06.2018
17:56:41
Никого Helm не бесит? :)
Оно сегодня при удалении релиза удалило то, что в релиз не входило :)
@denyasmail, ну и зря

Google

Banschikov
16.06.2018
17:58:33
@denyasmail, ну и зря
Привык решать проблемы по мере их происхождения. Покрайней мере пока что все работает логично

Sergey
16.06.2018
18:02:13
у кубера для хельма есть свой хаб и он давно существует

Vasilyev
16.06.2018
18:25:06

Banschikov
16.06.2018
18:26:40
Проблемы лучше предупреждать, а не решать ?
Согласен) Но к сожалению, а может быть к счастью стараюсь набивать опыт на собственных шишках) Так послушать сообщевство, то вообще ничего нельзя использовать из open-source с 100% гарантией работы)

Maxim
16.06.2018
18:28:09
100% гарантии ни open-source, ни что угодно другое не даст

Эдуард
16.06.2018
18:51:18
А возможен ли запуск пода с 2-мя контейнерами в опеншифте?

Dmytro
16.06.2018
18:55:01
да

Эдуард
16.06.2018
19:33:50
да
А гуглить как правильно?

Sergey
16.06.2018
19:35:13
наверн openshift multiple pods

Эдуард
16.06.2018
19:35:37
Thx

[Anonymous]
16.06.2018
19:39:49
Хай всем

Crypt
17.06.2018
01:44:57
Завёл деплои́ для докер реестра (сертификат и пароль он схавал). Как теперь достучаться до него снаружи? Можете yaml скинуть? Никак не пойму эти ингрессы с сервисами