Привет, нужен ваш совет. Читаю свежую книжку Seeking SRE. Там в главе про документацию пишут про плейбуки — не в смысле как в Ansible, а в смысле документа с инструкциями на случай любой ситуации с сервисом. Человек читает этот плейбук и по инструкции решает проблему. Один из критериев качества такого плейбука — надёжность/доступность. Буквально: «Is the playbook reliable (highly available)?» Так вот, как можно понять «highly available» в смысле документации? Что инструкции всегда будут выполнимы? Что просто сам документ не протеряется и будет всем доступен? Если нужно больше контекста, спрашивайте, я побольше кусок выложу.

Такие плейбуки по классике назывались SOP, если я ничего не путаю - и да, должны быть актуальны и доступны.

тоесть вся твоя бигдата - это просто бесполезный мусор за несколько лет?)

бывает необходимость, например, сделать сравнение по логам за год-два. мало ли что итам

подскажите пожалуйста, уставновил дашборд для кубернетеса по инструкции, завел себе права, но при заходе через браузер вижу только джсоны

подскажите пожалуйста, уставновил дашборд для кубернетеса по инструкции, завел себе права, но при заходе через браузер вижу только джсоны

не пиши в несколько чатов

Привет Подскажите может у кого на проекте Спарк и дергают его в КЛИЕНТ деплой моде

Привет Подскажите может у кого на проекте Спарк и дергают его в КЛИЕНТ деплой моде

поставь вопрос корректно

не пиши в несколько чатов

сорян(

Привет Подскажите может у кого на проекте Спарк и дергают его в КЛИЕНТ деплой моде

Тут довольно скользкий вопрос HI Is there Spark archmage Question is about client side deployment I'm little bit not clear how executors knew what I'm execute It is clear that my current node becomes Driver and executors will coordinate with me, My case With Spark Client Mode I'm able to query my Parquet data and give a response for client (Sure that this is a lot about correct architecture and may be this should be done in another way, now I just want to make it works in cloud what I have working locally with just change master from "local[*]" to "spark://master_host:master_port") So my method should return data and inside of it I create - sparkConf - sparkSession How does this actually works on executors there is no main method in my packaged jar that I packaged. ------- Ideally I want to make it works under Kubernetes on sbt release I build a docker image based from spark and with assembly.jar put inside. with 2.4.0-palantir-38 build spark don't longer throw exception that client mode not supported, but unfortuntly I don't make it working now. So decided not experiment and ask our DevOps to give me Spark under cloud to try. AWS EMR really kills me, I have to rewrite and couple to them greatly so will no longer have a way with local work. --- Back to question May be somebody use Client Deploy Mode in cloud. Thanks Может просто так вообще не юзают особо и я не правильно хочу решить стандартную задачу Спасибо

День добрый. А ктонибудь делал алертинг по логам? Если да то как? Какие то выборки из сырых логов, или аггрегировали? Чет весь в раздумьях как это вооще по человечески делать

и вот еще после обновления

ещё такой вопрос, если сам развернул кубер это считается что я девопс?

ещё такой вопрос, если сам развернул кубер это считается что я девопс?

а если сам написал программу, это считается, что я программист?

и вот еще после обновления

Permission denied же

а если сам написал программу, это считается, что я программист?

?

Permission denied же

не хватает прав. ?

не хватает прав. ?

Ага. Там последней строкой путь написан где именно прав не хватило

ещё такой вопрос, если сам развернул кубер это считается что я девопс?

если честно, тебя даже джуном линуха не назвать) без обид) кубер ты поставил с помощью людей в чате докер ты тоже не мог поставить правильный)

надо больше работать и все получится:)

если честно, тебя даже джуном линуха не назвать) без обид) кубер ты поставил с помощью людей в чате докер ты тоже не мог поставить правильный)

Вопрос от другого джуниор-линукса. А что есть "неправильный" докер?

"я девопс, установил кубер" чет смешно

Короче Серега тебя на работу не принял)

Вопрос от другого джуниор-линукса. А что есть "неправильный" докер?

а у него кубер требовал ниже чем у него стоял на убунте-бобре

Вопрос от другого джуниор-линукса. А что есть "неправильный" докер?

не модный gVizor)))

и то всем чатом помогли товарищу:)

Вопрос от другого джуниор-линукса. А что есть "неправильный" докер?

да там короче в репах последней убунты был докер версии выше чем требовался для кубера

А. Понятно)

не модный gVizor)))

это он пока не модный!

вообще рантайм под таски как бы а не под моду

ещё такой вопрос, если сам развернул кубер это считается что я девопс?

Я всегда думал, что девопс — это не человек, а концепция, идея, подход. Как Agile, Scrum или TDD. Нельзя же быть скрамом. Значит и девопсом нельзя.

это шутка была

культура!

есть же scrum мастера, значит и devops мастера должны быть /sarcasm

А подскажите где почитать-посмотреть, как должен выглядеть правильный цикл разработки с применением devops-практик. Интересует именно сам процесс от написания кода разработчиком на локалхосте до попадания в прод. С детализацией знаний в сторону инструментов нет проблем. Просто разработка в организации есть, а понимания как правильно она должна функционировать-нет

Как вариант смотри доклады Дмитрия Столярова

или читай Мартина Фаулера

А подскажите где почитать-посмотреть, как должен выглядеть правильный цикл разработки с применением devops-практик. Интересует именно сам процесс от написания кода разработчиком на локалхосте до попадания в прод. С детализацией знаний в сторону инструментов нет проблем. Просто разработка в организации есть, а понимания как правильно она должна функционировать-нет

Столяров топ

Столяров топ

неистово плюсую

А подскажите где почитать-посмотреть, как должен выглядеть правильный цикл разработки с применением devops-практик. Интересует именно сам процесс от написания кода разработчиком на локалхосте до попадания в прод. С детализацией знаний в сторону инструментов нет проблем. Просто разработка в организации есть, а понимания как правильно она должна функционировать-нет

у разработчиков ее тоже нет им это не мешает

А подскажите где почитать-посмотреть, как должен выглядеть правильный цикл разработки с применением devops-практик. Интересует именно сам процесс от написания кода разработчиком на локалхосте до попадания в прод. С детализацией знаний в сторону инструментов нет проблем. Просто разработка в организации есть, а понимания как правильно она должна функционировать-нет

0. https://youtu.be/uTEL8Ff1Zvk 1. SRE books (https://landing.google.com/sre/book.html) 2. DevOps Toolkit (https://leanpub.com/u/vfarcic) 2.0 (и далее всю серию) 3. Designing Distributed Systems (http://shop.oreilly.com/product/0636920072768.do) 4. Building Evolutionary Architectures (https://www.oreilly.com/library/view/building-evolutionary-architectures/9781491986356/)

0. https://youtu.be/uTEL8Ff1Zvk 1. SRE books (https://landing.google.com/sre/book.html) 2. DevOps Toolkit (https://leanpub.com/u/vfarcic) 2.0 (и далее всю серию) 3. Designing Distributed Systems (http://shop.oreilly.com/product/0636920072768.do) 4. Building Evolutionary Architectures (https://www.oreilly.com/library/view/building-evolutionary-architectures/9781491986356/)

они его\ее сделали постоянным участником видео по sre(

до чего людей sre довел!

они его\ее сделали постоянным участником видео по sre(

тебе не похуй если спец хороший и говорит внятно, а не как некоторые индусы? я сча по крио пытаюсь посмотреть ролики...ебаааать...сука....акцент пиздец просто

Всем спасибо)) Ушел знакомиться

там один чел не просто буквы глотает, предложения мать его! вот чето-то глаголит...хуяк и новый абзац! а концовку он вроде сказал. но так невнятно, что я манал...

там один чел не просто буквы глотает, предложения мать его! вот чето-то глаголит...хуяк и новый абзац! а концовку он вроде сказал. но так невнятно, что я манал...

так 0.5 ставишь))

и поехало

чего только люди не глотают ради денех!

так 0.5 ставишь))

на 1 секунду видео 0,5? потом опять нормально и опять 0.5 с перемотками?

чего только люди не глотают ради денех!

я смотрю подъехали шутки за 300, хотя даже не пятница или четверг маленькая пятница у тебя?

в предвкушении

Почему на картнике с SRE Белые чувак и голая темнокожая женщина, а на картинке с DevOPs одна рыжая в очках ?

Почему на картнике с SRE Белые чувак и голая темнокожая женщина, а на картинке с DevOPs одна рыжая в очках ?

посмотри и узнаешь

Я прям чет стремаюсь )

Вдруг и там трансгендеры

Я прям чет стремаюсь )

ну фу....фу-фу-фу прям....

А что нельзя ссылки вставлять ?

Я прям чет стремаюсь )

и опять...а тебя ебет кто там если спец нормальный?

Ой все

А что нельзя ссылки вставлять ?

нормально, но тема которую она поднимает...мм...ну такое...

Ну ты хоть сам то почитай…реально дичь

Ну ты хоть сам то почитай…реально дичь

да ты зайди норм видос!

?

Ребят кто где доку по коду\ролям пишет

notepad++

тонко

Ребят кто где доку по коду\ролям пишет

Atom

Ребят кто где доку по коду\ролям пишет

Если роль публичная - я пишу в readme.md в любом редакторе который его умеет рендерить

День добрый. А ктонибудь делал алертинг по логам? Если да то как? Какие то выборки из сырых логов, или аггрегировали? Чет весь в раздумьях как это вооще по человечески делать

Rsyslog в помощь. Или graylog, если религия позаоляет.

а то я в вики начал писать а потом смотрю там деревья целые))

потом глянул ЕСПД и чет не весело

Ребят кто где доку по коду\ролям пишет

sphinx ?

Rsyslog в помощь. Или graylog, если религия позаоляет.

Вопрос был не в сборе логов, а в алертах по логам

потом глянул ЕСПД и чет не весело

Щас бы по гостам 80 года, предназначенных для разработки проги сроком в годы, делать доку на роли

ты задолбаешься по ЕСПД описывать...у нас первый том описаловки по ЕСПД 398 листов

таких томов на 4 коробки из под бумаги А4

Привет всем! Подскажите, здеся influxdb обсуждают?

как мы тут спам репортим?

как мы тут спам репортим?

Админам хайлайтить)

ок спс