Alexander

пробовал в openEBS. Все работает само, пока не сломается. Что с этим потом делать и как чинить - хз.

ivan

интересно..

Anton

первый раз я обновил кластер кубспреем и все пошло по одному месту, включая рукоцеф, который я ниасилил восстановить. Возможно, из-за кривых рук. Второй раз накрылись диски на всех трех нодах, я ноды заменил, но цеф так и не поднялся

Михаил

rook ("злобно смеется по-немецки.gif")

ivan

нам удавалось цеф поднять после падения всех мониторов

Alex

а storageos кто-нибудь тыкал, кстати?

Alexander

короче пока что нормальные персисты - это то, что юзает тома облачных провайдеров. там хотя бы уверен, что остальное может упасть, но данные скорее всего выживут. Ну или по крайней мере ты точно знаешь где их потом искать :)

Anton

но вот недавно был кейс, отъехала нода, и надо сказать, с помощью рука удалось без особых ковыряний с самим цефом вставить новую ноду назад вместо старой

𝚔𝚟𝚊𝚙𝚜

пробовал в openEBS. Все работает само, пока не сломается. Что с этим потом делать и как чинить - хз.

Расскажи насколько он быстрый

Alexander

Расскажи насколько он быстрый

я его юзал под не критичный сервис, так что не заморачивался.

Anonymous

Юзаем rook было два падения 50% нод - выжили

Alexander

но оно все равно после ребута пары нод в кластере встало раком и упало в режим read only

𝚔𝚟𝚊𝚙𝚜

я его юзал под не критичный сервис, так что не заморачивался.

А с каким бэкендом?

Anton

я кстати тут недавно развлекался, решил в кластере с рукоцефом подменить все три воркер ноды по очереди. Ну и скриптик там простенький писал раз в секунду в файл. Первые две ноды успешно заменил, надо сказать, что пришлось побегать вокруг рука, чтобы он таки завел поды мониторов и osd. После замены третьей ноды мониторы и osd завести удалось, но файл в который писал скрипт покораптился. Потом оказалось, что я недосмотрел, что во время замены второй ноды два пода osd оказались на одной и той же третьей ноде, которую я потом шлепнул. Видно это было фатально.

𝚔𝚟𝚊𝚙𝚜

А с каким бэкендом?

Оч интересно они из zfs выпилили ту часть что отвечает за снапшоты и реализовали в userspace

Alexander

А с каким бэкендом?

что в данном случае под бекендом понимается? openEBS по ману был развернут. Все завелось с ходу. С томом работало обычное приложение без претензий к IOPS.

Alexander

а потом как-то приложение отказалось работать. В логах - ошибка ФС, read only. В логах реплик и контроллеров openEBS тишина.

Alexander

что делать и кто виноват - хз. Из необычного только ребут ноды, на которой реплика openebs крутилась.

𝚔𝚟𝚊𝚙𝚜

что в данном случае под бекендом понимается? openEBS по ману был развернут. Все завелось с ходу. С томом работало обычное приложение без претензий к IOPS.

У них там два бэкенда есть, longhorn и cstor, вот cstor - это тот который с юзерспейс зфс

Alexander

а перед этим я еще glusterFS пробовал. Примерно то же самое, только еще установка упоротая. Именно после всего вышеперечисленного зарекся пользоваться чем-то таким. Благо нашел для hetzner такую пепяку https://github.com/hetznercloud/csi-driver на днях буду пробовать. А уж на aws юзать что-то кроме их томов - нунафиг.

Alexandr

Да, через BGP в calico

У меня чёт не взлетело, ладно ещё раз попробую

Anton

как на ноде найти интерфейс cali* который соответствует интерфейсу указанного пода?

Vadim

Следите за анонсами)

досмотрел панельную дискуссию про ваниллу, очень смешно получилось ящитаю

Михаил

досмотрел панельную дискуссию про ваниллу, очень смешно получилось ящитаю

Считаю катка заруинилась

Vadim

Считаю катка заруинилась

одно пожелание - должны быть листочки для буллшит бинго, где-то половину клеток оставить свободными

Михаил

одно пожелание - должны быть листочки для буллшит бинго, где-то половину клеток оставить свободными

это да

Михаил

из минусов - не смогли прийти защитники опеншифта и ранчера

𝚔𝚟𝚊𝚙𝚜

Другие два сердечка то разыграли?

Михаил

Другие два сердечка то разыграли?

отдали тем кто смог позадавать вопросы на дискусии из зала)

Vadim

из минусов - не смогли прийти защитники опеншифта и ранчера

почему? Там половина панельки его так или иначе смогли попробовать, в отличии от остальных альтернатив - это вполне себе плюс

Anonymous

Народ кто то использует stolon ? Плюсы и минусы ?

Евгений

Я думал в яндексе был сре митап в этот же день

Первый куб-митап был в яндексе жеж

Alex

Народ кто то использует stolon ? Плюсы и минусы ?

для мелкого проекта юзаю – вроде всё норм, иногда отваливается из-за нехватки ресурсов для гластера (как я понял), но обычно само как-то рестартится и продолжает работать

Anonymous

для мелкого проекта юзаю – вроде всё норм, иногда отваливается из-за нехватки ресурсов для гластера (как я понял), но обычно само как-то рестартится и продолжает работать

быстро он перестраиват слейв в мастер ?

Stefan

быстро он перестраиват слейв в мастер ?

ну в миникубе глядел, довольно шустро

Stefan

позже планировать буду в кубер совать

Alex

на самом деле нормально так и не проверил, судя по логам sentry – достаточно быстро, в районе минуты или меньше

Maksim

быстро он перестраиват слейв в мастер ?

там вызов pg_ctl promote, который даже постгрес не перегружает, поэтому моментально. Ну а сам фейловер по умолчанию длится около полуминуты, регулируется параметром failInterval

Anonymous

там вызов pg_ctl promote, который даже постгрес не перегружает, поэтому моментально. Ну а сам фейловер по умолчанию длится около полуминуты, регулируется параметром failInterval

Отлично спасибо.

Vadim

наконец стали выкладывать записи толков с прошедшего DevConf, вот например про Multus - https://www.youtube.com/watch?v=X6rcpy2g5Ew

Alex

Привет, всем! Может кто в курсе как запустить cronjob не дожидаясь времени в самом планироващике

Mikhail [azalio]

Привет, всем! Может кто в курсе как запустить cronjob не дожидаясь времени в самом планироващике

https://stackoverflow.com/questions/40401795/how-can-i-trigger-a-kubernetes-scheduled-job-manually

Sergey

Вопрос есть про сеть. По дефолту куб-прокси для выхода наружу создает правило вида MASQUERADE. Можно ли это поведение изменить и сделать несколько своих правил? Использую flannel

Залез в исходник. Правило захардкожено :( https://github.com/kubernetes/kubernetes/blob/9f3b4b588d4ae5a62e2fe140976b0a206eb3b3ab/pkg/proxy/iptables/proxier.go#L741

Denis

Привет, всем! Может кто в курсе как запустить cronjob не дожидаясь времени в самом планироващике

сейчас не могу полностью команду написать. Гугли kubectl job --from cronjob

Anton

Привет, всем! Может кто в курсе как запустить cronjob не дожидаясь времени в самом планироващике

kubect create job --help

Anton

так то и на твой запрос ответ в гугле находится сразу

Anonymous

Народ, кто как шарит всякую статику между подами? Юзаем ceph(rook) но в текущей версии можно делать только одну шаред фс. Слышал что используют NFS, но тут вопрос в фаловере так как мы имеем лишь один folder который маунтим в поды. Хотелось бы услышать реальные кейсы без выноса статики в CDN.

Anton

зачем шарить статику между подами?

Alex

не сказал бы что так явно написан ответ - без всяких там экспортов/импортов - список выводиться как kubectl get cronjob - неужели нету что-то вроде kubectl start cronjob <namecronjob>

Anonymous

зачем шарить статику между подами?

ну вот есть проджект с папкой uploads и эта папка должна быть доступна для записи на всех подах. И она должна быть общей для всех подов

Anton

не сказал бы что так явно написан ответ - без всяких там экспортов/импортов - список выводиться как kubectl get cronjob - неужели нету что-то вроде kubectl start cronjob <namecronjob>

$ kubectl create job --help Create a job with the specified name. Examples: # Create a job kubectl create job my-job --image=busybox # Create a job with command kubectl create job my-job --image=busybox -- date # Create a job from a CronJob named "a-cronjob" kubectl create job test-job --from=cronjob/a-cronjob

Anton

ну вот есть проджект с папкой uploads и эта папка должна быть доступна для записи на всех подах. И она должна быть общей для всех подов

а, статика, которая в процессе работы генерится, у себя решили от старой схемы "сохранять к себе" отказаться. хоть и хочется коллегам распределенную файловую систему какую нить. льем в объектный сторейдж. держим кэширующие раздающие nginx

Anonymous

object storage свой или "на стороне"?

Alex

$ kubectl create job --help Create a job with the specified name. Examples: # Create a job kubectl create job my-job --image=busybox # Create a job with command kubectl create job my-job --image=busybox -- date # Create a job from a CronJob named "a-cronjob" kubectl create job test-job --from=cronjob/a-cronjob

я спрашиваю не про создание а про запуск вручную - например при помощи yaml я создал kind: CronJob - с schedule: "*/15 * * * *" - но я не хочу ждать 15 минут когда она запуститься а запустить прямо сейчас!

Anton

object storage свой или "на стороне"?

сторонних дофига, всеравно в них бэкапим, своих пока не подымаем, скорость отдачи решается легко разворачиванием кэшей каких нить, которых для s3 тьма

Sergei

Создание джобы означает её запуск

Alex

сразу да - но в следующий раз только через указанное в шедулере мной время

Anton

я спрашиваю не про создание а про запуск вручную - например при помощи yaml я создал kind: CronJob - с schedule: "*/15 * * * *" - но я не хочу ждать 15 минут когда она запуститься а запустить прямо сейчас!

cronjob создает job по schedule. а job из себя генерит pod, так? значит что нужно чтобы запустить задание из cronjob прямо сейчас?

Anonymous

прибить под )

Anonymous

можно патчить еще

Anonymous

как например с deployments

Alex

cronjob создает job по schedule. а job из себя генерит pod, так? значит что нужно чтобы запустить задание из cronjob прямо сейчас?

и что же?

Anton

и что же?

я сдаюсь. измени schedule на * * * * *

Anton

может уже прошло 15 минут и cronjob сам по себе запустился уже. тут главное не торопится, чаю налить. ночные таски вот неудобно отлаживать

Alexander

я спрашиваю не про создание а про запуск вручную - например при помощи yaml я создал kind: CronJob - с schedule: "*/15 * * * *" - но я не хочу ждать 15 минут когда она запуститься а запустить прямо сейчас!

Что-то тут ботик потирает ссылки. Но вообще первая ссылка в гугле по запросу "tigger cronjob manually kubernetes" kubectl create job --from=cronjob/<cronjob-name> <job-name>

Anton

Что-то тут ботик потирает ссылки. Но вообще первая ссылка в гугле по запросу "tigger cronjob manually kubernetes" kubectl create job --from=cronjob/<cronjob-name> <job-name>

думаешь сможешь пробиться? я ему уже help цитировал

Alexander

думаешь сможешь пробиться? я ему уже help цитировал

Попробовать стоит..

Alex

может уже прошло 15 минут и cronjob сам по себе запустился уже. тут главное не торопится, чаю налить. ночные таски вот неудобно отлаживать

ну да а если у меня в шедулере "* 5 * * *" - я буду чаю наливать)

Anton

работать нужно солидно

Rainbow

Народ, кто как шарит всякую статику между подами? Юзаем ceph(rook) но в текущей версии можно делать только одну шаред фс. Слышал что используют NFS, но тут вопрос в фаловере так как мы имеем лишь один folder который маунтим в поды. Хотелось бы услышать реальные кейсы без выноса статики в CDN.

использовать ceph для папки uploads 🙈🙈🙈🙈🙈🙈

Ingvar

Добрый день , есть вопрос , поймали такую вот багу : в Кубере + nginx Проблема проанализирована и смоделирована в тесте. Вызвана попаданием в кэш балансировщика (nginx) старого файла all.js (от версии 7.7 ) под новым именем all.js?version=7.8 Таким образом в кэше nginx лежали два файла: all.js?version=7.7 all.js?version=7.8 с одинаковым старым содержанием. Это произошло из-за того, что запрос нового файла при проксировании попал на старое приложение, которое ему отдало свой all.js, а nginx его записал в кэш под новым именем. Такое возможно за счёт того, что в момент обновления приложения (примерно 10 минут) на ноде было запущено одновременно и старое и новое приложения., вопрос как лечить? iptables - диманически ( решим random) выбрало под на ноде ...

Rainbow

Лечить сборщик js, чтобы давал all-{sha1}.js

Anton

Добрый день , есть вопрос , поймали такую вот багу : в Кубере + nginx Проблема проанализирована и смоделирована в тесте. Вызвана попаданием в кэш балансировщика (nginx) старого файла all.js (от версии 7.7 ) под новым именем all.js?version=7.8 Таким образом в кэше nginx лежали два файла: all.js?version=7.7 all.js?version=7.8 с одинаковым старым содержанием. Это произошло из-за того, что запрос нового файла при проксировании попал на старое приложение, которое ему отдало свой all.js, а nginx его записал в кэш под новым именем. Такое возможно за счёт того, что в момент обновления приложения (примерно 10 минут) на ноде было запущено одновременно и старое и новое приложения., вопрос как лечить? iptables - диманически ( решим random) выбрало под на ноде ...

при rolling update всегда будете ловить такое

Ingvar

Это да :) раньше всегд прокатывало - all.js?version=

Ingvar

теперь только менять имя файла?

Rainbow

менять имя файла best practices хочется приключений? Можно иначе конечно

Rainbow