Про загрущщик ни слова

через астрал либ

С осд это они классно цеферам подосрали в плане гуглежа

@socketpair со своими гифками иди в @cloud_flood

@socketpair со своими гифками иди в @cloud_flood

Ладно-ладно

а подскажите с кубиком+fluentd. в файле лога у меня: head -n1 /var/log/containers/1.log 2019-02-17T15:01:51.93239314+03:00 stdout F {JSON}} если сделать k logs ... то будет просто {JSON}, т.е. кубик добавлят в файл 2019-02-17T15:01:51.93239314+03:00 stdout F. Fluentd у меня ищет JSON в файле и соответственно не находит, чяднт?

{JSON} - валидный json

Выяснил, так пишет логи containerd, это решается multi-formatом во fluentd

Фух, родил я линстор и csi, собирать его, конечно, удовольствие ниже среднего, осталось понять как это работает)

Родить это одно, а воспитать - это трудный процесс

Родить это одно, а воспитать - это трудный процесс

Просто бить надо чаще

Просто бить надо чаще

А как же доброе слово?

А как же доброе слово?

А потом бить

Доброе слово закреплённое хорошей пилюлей по сраке, лучше усваивается и на дольше

А потом бить

Добрым словом и битьём, можно добиться гораздо большего чем одним добрым словом

Добрым словом и битьём, можно добиться гораздо большего чем одним добрым словом

Вот именно

Родить это одно, а воспитать - это трудный процесс

Роды тоже быди не из легких...

Просто бить надо чаще

Он же еще совмем ребенок

Он же еще совмем ребенок

Ты это скажи соседу, которому этот, он же ещё ребенок, спалил чердак сарая)

Ты это скажи соседу, которому этот, он же ещё ребенок, спалил чердак сарая)

Зато точно уж не соседский, сам делал, потел))

Зато точно уж не соседский, сам делал, потел))

Ага, а потом батя с соседом люлей по очереди выписывают

А ты нормы ГТО по бегу сдаешь

Те кто пользуются fluent-bit, дайте угадаю, у вас нет мултилайна да?

Ага, а потом батя с соседом люлей по очереди выписывают

Он вообще-то - элита, на энтерпрайз плюс вмваре собран😂 бить нельзя, засудят

Он вообще-то - элита, на энтерпрайз плюс вмваре собран😂 бить нельзя, засудят

В мое время, к процессу еще бы участковый присоеденился с криком: мужики, разойдитесь, я по нему, ща, с макарыча шмальну

В мое время, к процессу еще бы участковый присоеденился с криком: мужики, разойдитесь, я по нему, ща, с макарыча шмальну

Крестить просто надо

Крестить просто надо

Вилами по горбяре

Те кто пользуются fluent-bit, дайте угадаю, у вас нет мултилайна да?

да есть. джавные трейсы. там двумя парсерами нужно. пока не поборол

Ну заживем теперь

да есть. джавные трейсы. там двумя парсерами нужно. пока не поборол

Как? Согласен и на 5 парсеров :) нашел пока адовый костыль с lua. По хорошему надо править docker mode в in_tail

[INPUT] Multiline On Parser_Firstline log_parser_head Parser log_parser

+4 спамера в чат😂

[INPUT] Multiline On Parser_Firstline log_parser_head Parser log_parser

У меня докер логи, они в JSON :) т.е. мне надо мультилайн по полю

Подскажите, кто-нибудь использует kubernetes executors для gitlab-runner?

У меня докер логи, они в JSON :) т.е. мне надо мультилайн по полю

Fluentd такое умеет. На счет fluent-bit не уверен

Подскажите, кто-нибудь использует kubernetes executors для gitlab-runner?

А в чем вопрос? С документацией у них беда, ну и лучше использовать самую свежую сборку, там больше всего фичей.

А в чем вопрос? С документацией у них беда, ну и лучше использовать самую свежую сборку, там больше всего фичей.

да тут даже не в фичах дело, с ними то все в порядке. Столкнулись с непонятным жором ресурсов. В конфигмапе у нас KUBERNETES_CPU_LIMIT: 3600m KUBERNETES_CPU_REQUEST: 3600m KUBERNETES_HELPER_CPU_LIMIT: 900m KUBERNETES_HELPER_MEMORY_LIMIT: 4Gi KUBERNETES_MEMORY_LIMIT: 10Gi KUBERNETES_MEMORY_REQUEST: 4Gi KUBERNETES_SERVICE_CPU_LIMIT: 3600m KUBERNETES_SERVICE_MEMORY_LIMIT: 4Gi так вот если сделать меньше - джобы начинают неприлично долго работать

допустим есть процедура сборки контейнера, локально делается 2 минуты, с такими ресурсами тоже 2 минуты, а если их хотябы на 10% порезать - может занимать 5-7

т.е. на 1 раннера выделяется неприлично много ресурсов

т.е. на 1 раннера выделяется неприлично много ресурсов

а зачем в кластере где запускаются раннеры делать лимиты? это dev, stage кластера

а зачем в кластере где запускаются раннеры делать лимиты? это dev, stage кластера

потому что в этом кластере еще параллельно куча другого добра крутится, а оом никто не хочет видеть)

допустим есть процедура сборки контейнера, локально делается 2 минуты, с такими ресурсами тоже 2 минуты, а если их хотябы на 10% порезать - может занимать 5-7

Какой ресурс меньше на 10% делаете?

потому что в этом кластере еще параллельно куча другого добра крутится, а оом никто не хочет видеть)

поставьте лимит только на память

Какой ресурс меньше на 10% делаете?

да по разному играли, но больше всех расстраивает kubernetes-memory

да по разному играли, но больше всех расстраивает kubernetes-memory

requests? Limits?

limits

limits ставит ограничение на fs cache кстати, это то о чем я когда-то не знал.

потому что в этом кластере еще параллельно куча другого добра крутится, а оом никто не хочет видеть)

Честно говоря стоические у вас кодеры, если к оому в раннерах они спокойно относятся

Можно у вас из-за лимитов тормозят чтение-запись

у нас это выливается в то, что планировщик просто не дает запускать раннеров, потому что все ресурсы выжираются )

у нас это выливается в то, что планировщик просто не дает запускать раннеров, потому что все ресурсы выжираются )

не ставьте request совсем, тогда os будет разбираться кому нужнее.

limits

А сборка чем? Docker in docker?

А сборка чем? Docker in docker?

ага

не ставьте request совсем, тогда os будет разбираться кому нужнее.

Так нельзя :)

не ставьте request совсем, тогда os будет разбираться кому нужнее.

если смотреть в графане метрики, то видно что вся эта пачка контейнеров сколько указано в requests - столько и сьедает

Так нельзя :)

я забываю про свой кейс. У меня один железный сервер под build 🙈

и не важно, что ты запускаешь, сборку, юниты, или даже простенький статикчек

если смотреть в графане метрики, то видно что вся эта пачка контейнеров сколько указано в requests - столько и сьедает

request использует планировщик, limits ограничение у контейнера

если смотреть в графане метрики, то видно что вся эта пачка контейнеров сколько указано в requests - столько и сьедает

Съедает столько сколько ей минимально гарантированно (requests), но не больше? Значит ноды под завязку и ничего свободного не осталось

@Hellfosa кейс с fs cache и memory limits понятен?

@Hellfosa кейс с fs cache и memory limits понятен?

буду курить в эту сторону, сходу не особо)

Съедает столько сколько ей минимально гарантированно (requests), но не больше? Значит ноды под завязку и ничего свободного не осталось

иногда вылазит за пределы, если к примеру юниты гнать в несколько потоков, это логично

допустим есть процедура сборки контейнера, локально делается 2 минуты, с такими ресурсами тоже 2 минуты, а если их хотябы на 10% порезать - может занимать 5-7

Я запускаю на отдельных машинах, которые включаются и провижинится по требованию только для сборок. В общем пуле слишком долго выходит ( Ну и stage приходится объединять максимально, чтобы ускорить процесс.

буду курить в эту сторону, сходу не особо)

У меня это было с registry. memory limit на 500мб приводил к тому, что жирные образы ОЧЕНЬ долго загружались. Увеличение до 1gb решает проблему.

буду курить в эту сторону, сходу не особо)

Когда неприлично долго тормозит, что мониторинг показывает? Максимум в диске, памяти или цпу есть?

Когда неприлично долго тормозит, что мониторинг показывает? Максимум в диске, памяти или цпу есть?

в пределах того, что указано в лимитах плавает. На самой ноде каких либо экстремальных нагрузок не фиксируется

Я запускаю на отдельных машинах, которые включаются и провижинится по требованию только для сборок. В общем пуле слишком долго выходит ( Ну и stage приходится объединять максимально, чтобы ускорить процесс.

Можно много времени и места выйграть грамотно расположив слои в докере

в пределах того, что указано в лимитах плавает. На самой ноде каких либо экстремальных нагрузок не фиксируется

А диск активность растет когда в лимиты упирается по памяти?

А диск активность растет когда в лимиты упирается по памяти?

нет, на уровне погрешности

Внутри докера JVM?

Внутри докера JVM?

нет, питонячее добро

Ну фиг знает. Мистика. Упирается в память и при этом не растет ни диск ни цпу , но все равно в разы дольше билдит...

но кстати такое поведение фиксировали при фронте

если работаем с образами на node

Ну фиг знает. Мистика. Упирается в память и при этом не растет ни диск ни цпу , но все равно в разы дольше билдит...

не могу сказать что прямо упирается, плавает рядом - да, но не в потолок

и даже если все контейнеры порезать в 2-3 раза

оно работает, с той же картиной, но медленнее раз в 10

а без DinD также тупит?

а без DinD также тупит?

в кубе без dind не проверяли, если локально собирать то оно вообще не жрет ресурсов и собирается\тестируется оч быстро

Ну фиг знает. Мистика. Упирается в память и при этом не растет ни диск ни цпу , но все равно в разы дольше билдит...

Page reclaim запускается и начинается аутирование. Постоянно сталкиваюсь, решается мониторингом working_set_bytes в cadvisor.