возмоно у меня в голове доллар по 30 рублей

ну хуй знает где у вас зарплата чувака занимающегося закупками железа будет ниже, чем оплата ещё пачки хостов в амазоне

У амазона есть калькулятор для сравнения. И он достаточно честно иногда показывает, что стоит остаться.

в смысле остаться в DC

и он учитывает траты на staff

большие компании живут в амазоне только по причине технологической импотенции

да понятно что большие компании будут в дц жить

да понятно что большие компании будут в дц жить

бывают и обратные примеры - когда большие компании уезжают в Амазон и становятся счастливы. Впрочем адекватность таких контор и переездов я бы ставил под сомнение

большие компании живут в амазоне только по причине технологической импотенции

либо слишком быстро развиваются, когда DC в новом регионе нужен вчера

либо слишком быстро развиваются, когда DC в новом регионе нужен вчера

в этот момент они ещё не считают деньги

вот на прошлой работе, @azalio не даст соврать, было 3-4 тыщи железных хостов в разных дц и с ними был постоянный геморрой

щас у меня меньше 100 хостов в амазоне и мне прекрасно :)

ну так это больше о тебе говорит

(потому что только пришёл и нихуя не успел наломать конечно)

в этот момент они ещё не считают деньги

или у них реально работает scaling, и они живут на spot-instances

вот на прошлой работе, @azalio не даст соврать, было 3-4 тыщи железных хостов в разных дц и с ними был постоянный геморрой

а в чем гиморой был?

облака это в первую очередь экономия на времени во-вторую - на специалистах дальше уже никакой экономии нет )

а в чем гиморой был?

я тебе скажу в чем был геморрой на моей позапрошлой работе с 3-4 тыщами железных хостов

всё вручную, блядь

и всё надо вчера

ну как обычно с железом - то прошивка сетевухи заглючит, то диски сдохнут и менять надо

или у них реально работает scaling, и они живут на spot-instances

я видел контору которая прод держала на спотах

закончилось плачевно

я тебе скажу в чем был геморрой на моей позапрошлой работе с 3-4 тыщами железных хостов

при этом железные хосты тоже автоматизируются затраты только выше и требования к специалистам

при этом железные хосты тоже автоматизируются затраты только выше и требования к специалистам

да.

там в конечном счете автоматизировали

но это стоило мне годового курса антидепрессантов после

и +25 кг нажранного веса :)

ну вообще согласен, что большая часть без от недостатка автоматизации

ну как обычно с железом - то прошивка сетевухи заглючит, то диски сдохнут и менять надо

один локалхост админ и адекватные техработы в самом DC решают такие проблемы

и самому эту автоматизацию на уровне дц делать тот ещё гемор

один локалхост админ и адекватные техработы в самом DC решают такие проблемы

в каждом дц?

при этом полно проектов на AWS без автоматизации вообще)

в каждом дц?

зависит от

automate all the things

какие все тут продвинутые автоматизаторы!

Господа, ну имейте же совесть. За последние полчаса практически ничего нет по тематике чата, этот разговор больше для @devops_ru подходит.

Дайте по теме задать: кто-нибудь встречался с тем, что Kubelet тратит очень много CPU sys времени на du, find и т.д. Есть способы борьбы, кроме более мощной машины или меньшего количества подов?

Народ, вот читаю я ваши проблемы и чем дальше в лес тем меньше мне хочется кубера ставить на свои сервера. Такое чувство что собственное облако запилить менее проблематично чем куберу отдать

Народ, вот читаю я ваши проблемы и чем дальше в лес тем меньше мне хочется кубера ставить на свои сервера. Такое чувство что собственное облако запилить менее проблематично чем куберу отдать

в моей инсталяции на 300+ bare-metal машин проблем нет, я очень везучий видимо.

О вот это позитивчик

в моей инсталяции на 300+ bare-metal машин проблем нет, я очень везучий видимо.

Ага, так я тебе и поверил :)

Видимо все в рукам сводится

вспомнился доклад по теме https://www.youtube.com/watch?v=NElaNl1Kwkw&index=40&list=PLj6h78yzYM2P-3-xqvmWaZbbI1sW-ulZb

Ты полгода херачил круглые сутки чтобы все пробемы решить

Ага, так я тебе и поверил :)

ну решил же )

Кто-нибудь уже поставил coredns вместо kube-dns?:)

Дайте по теме задать: кто-нибудь встречался с тем, что Kubelet тратит очень много CPU sys времени на du, find и т.д. Есть способы борьбы, кроме более мощной машины или меньшего количества подов?

это похоже cadvisor из кубелета собирает инфу про хост. вероятно его можно ограничить немного. оригинальный cadvisor можно было попросить реже выполнять сбор статистики либо вовсе выключить некоторые

Была такая проблема с cadvisor и overlay драйвером

Не overlay2

Обновление тогда помогло, цадвизор был стендалон, не в кубелете

Понял. Что-то нет параметров kubelet'у, чтобы как-то cAdvisor настроить.

@Andorka А это не ты в баг Helm'а влетел? :) https://github.com/kubernetes/helm/issues/3322#issuecomment-364882315

вряд ли, я им не пользовался ни разу и на гитхабе у меня акк просто Andor

А чем kubernetes_ru деплоит?

у нас самодельные костыли на питоне

Всем привет А кто-то в миникубе девелопит? Сейчас делаю все докер-компоузом, т.к. там просто примаунтить локальную директорию с кодом, базейки и кеши запустить. Потом докер-компоуз ран и запускаю командочки в контейнере. Но прод-то на к8с и хочется сразу в нем же и девелопить. Я так понимаю, что примаунтить локальные директории в к8с - это не так просто как в компоузе. Может быть кто-то подскажет возможно ли это и можно ли где-то посмотреть пример

Всем привет А кто-то в миникубе девелопит? Сейчас делаю все докер-компоузом, т.к. там просто примаунтить локальную директорию с кодом, базейки и кеши запустить. Потом докер-компоуз ран и запускаю командочки в контейнере. Но прод-то на к8с и хочется сразу в нем же и девелопить. Я так понимаю, что примаунтить локальные директории в к8с - это не так просто как в компоузе. Может быть кто-то подскажет возможно ли это и можно ли где-то посмотреть пример

https://kubernetes.io/docs/concepts/storage/volumes/#hostpath

Ах, да, представляюсь при входе в гпуппу. Работаю Infrastructure Lead-ом в zalando.de (Berlin), занимаюсь инфраструктурой платежей для Заландо, AWS, K8S, Jenkins, Terraform, Vault, Ansible, Docker

Это читал, но оно же не синхронизирует. Я после запуска менял файлы на хостовой ОС, а до контейнера оно не дошло

У кого-то в компаниях девелоперы занимаются разработкой и дебагом именно в миникубах?

у нас к сожалению пока тоже на докер композе

у нас к сожалению пока тоже на докер композе

Это уже прогресс. Да и перевод композа в k8s не великая проблемма

Те же кубернетесовские стейтфулсеты и кронджобы в компоузе не проэмулируешь, а хочется

да понятно что невеликая, надо сесть и заняться

в компоузе можно docker-compose build && docker-compose run запустить. в миникубе же придетс отдельно контейнер билдить, а потом ранить

что так запускать ./build && ./run, что эдак

так я вот и думал, что может кто-то уже эти велосипеды изобрел

проблема в том, что если я подключаюсь туда курлом, он печатает эвенты на экран, но не отдает управление. Я даже на jq передать не могу, потому что кто-то из них ждет EOF и jq в итоге вообще ничего не печатает

jq кажется не умеет построчно. kubectl get —watch | while read line; jq . <<<"$line"; done

что б оно само проверяло при билде, какой именно контейнер надо перебилдить, а в каком нет изменений и можно просто запускать

короче, делаем вывод, чтобы кластер работал надо как минимум: - человек хорошо знающий API кубернетеса и знакомый с мантейнерами - человек с опытом в сетевом стеке и операционных системах - человек знающий golang и умеющий оформлять пулл-реквесты - специалист по кофе-машине кого забыл? :)

А можно поставить галочку в GKE и вложить деньги в других людей, приносящих пользу (пока и для них не появится галочка)

@Andorka но в общем и целом - чудес не бывает и тебе никто дешевле себестоимости железо сдавать в аренду не будет. Проблема амазона и прочих - они очень дорогие и на какой-то момент начинают стоить дороже чем аренда стоек в ДЦ и зарплата инженерам. Притом эти "какие-то" масштабы это сотни виртуальных машин, что уже не так много

Так потом скидки начинаются же. Netflix почему не съехал? Не думаю, что они on-demand прайс платят :))

jq кажется не умеет построчно. kubectl get —watch | while read line; jq . <<<"$line"; done

умеет

еще момент, в отдельных странах всю полноту ответственности по хранению sensitive data несешь сам

У Experian увели вообще все что можно, и ничего - все еще в бизнесе, никаких последствий ) в реальном мире никто никакой ответственности не несет

умеет

Покажите

У него есть slurp где все разом , либо будет жаловаться на несколько top level objects или как то там

Всем привет. Подскажите. Прикрутил доменное имя к IP API сервера, теперь не могу подключится (по IP могу) Unable to connect to the server: x509: certificate is valid for kubernetes. Собрано с помощью kubespray Доменное имя: api.test2.com Хостнейм тачек k8s-s*.test3.com

Покажите

$ head -3 out.json {"type":"ADDED","object":{"kind":"Event","apiVersion":"v1"}} {"type":"ADDED","object":{"kind":"Event","apiVersion":"v1"}} {"type":"ADDED","object":{"kind":"Event","apiVersion":"v1"}} $ head -3 out.json | jq .type "ADDED" "ADDED" "ADDED"

Всем привет. Подскажите. Прикрутил доменное имя к IP API сервера, теперь не могу подключится (по IP могу) Unable to connect to the server: x509: certificate is valid for kubernetes. Собрано с помощью kubespray Доменное имя: api.test2.com Хостнейм тачек k8s-s*.test3.com

а что в сертификате вписано в имени?

Всем привет. Подскажите. Прикрутил доменное имя к IP API сервера, теперь не могу подключится (по IP могу) Unable to connect to the server: x509: certificate is valid for kubernetes. Собрано с помощью kubespray Доменное имя: api.test2.com Хостнейм тачек k8s-s*.test3.com

Откройте сертификат апи сервера, там должны быть и домены и ip и внутренний ip из service ip range и 'kubernetes.default'

а что в сертификате вписано в имени?

kubespray генерирует свои

$ head -3 out.json {"type":"ADDED","object":{"kind":"Event","apiVersion":"v1"}} {"type":"ADDED","object":{"kind":"Event","apiVersion":"v1"}} {"type":"ADDED","object":{"kind":"Event","apiVersion":"v1"}} $ head -3 out.json | jq .type "ADDED" "ADDED" "ADDED"

там EOF. А вот так сможет? { head -n3 out.json; sleep 69; } | jq .

Так потом скидки начинаются же. Netflix почему не съехал? Не думаю, что они on-demand прайс платят :))

Ну они крупнейший клиент же) как спотифай по слухам для gcp

kubespray генерирует свои

ну если дёрнуть curl -vk, то оно напишет

Ну они крупнейший клиент же) как спотифай по слухам для gcp

Ну скидки для всех крупных есть :)

там EOF. А вот так сможет? { head -n3 out.json; sleep 69; } | jq .

да, так не сможет, в этом и проблема. Не сразу понял, что имеется ввиду под "построчно".

да, так не сможет, в этом и проблема. Не сразу понял, что имеется ввиду под "построчно".

Ну я на самом деле думал что оно и пообьектно не может тоже. Узнал что может

А можно поставить галочку в GKE и вложить деньги в других людей, приносящих пользу (пока и для них не появится галочка)

так работает, подтверждаю :)

Всем привет. сильно не ругайтесь я новичек. Так и не удалось победить кубеадм инит. Вот ветка форума , может у кого есть идеии .... https://github.com/kubernetes/kubernetes/issues/59794

Всем привет. сильно не ругайтесь я новичек. Так и не удалось победить кубеадм инит. Вот ветка форума , может у кого есть идеии .... https://github.com/kubernetes/kubernetes/issues/59794

привет. я тож новичек. попробуй начать с kubespray.

https://github.com/kubernetes-incubator/kubespray

Всем привет. сильно не ругайтесь я новичек. Так и не удалось победить кубеадм инит. Вот ветка форума , может у кого есть идеии .... https://github.com/kubernetes/kubernetes/issues/59794

это багтрекер, а не форум :)

ставил по какой документации? Kubelet откуда?

это багтрекер, а не форум :)

Ой, да что уж там... Большинство вот даже не понимает, что здесь - супергруппа, а не канал.

Всем привет. сильно не ругайтесь я новичек. Так и не удалось победить кубеадм инит. Вот ветка форума , может у кого есть идеии .... https://github.com/kubernetes/kubernetes/issues/59794

я бы как минимум проверил вешается ли что-то на порт (проверить на какую сеть): netstat -tnlp во время попытки старта кубелета

из оыы источников

***офф

Ой, да что уж там... Большинство вот даже не понимает, что здесь - супергруппа, а не канал.

следующий щаг - использовать github/issues вместо pastebin.com