не обязательно же по событию

конечно

важен анализ -

за неделю месяц и так далее

не важен

админы не должны сидеть и смотреть в монитринг

не должны

они вообще не нужны :)

но должны понимать - что происходит, почему происходит так и чего ждать ночью

нет, не должны

они вообще не нужны :)

это мы уже поняли

Инфраструктура как код.

Как код

Код

Но нет она не как код.

Чтобы как код надо обнулять переменные

Чтобы как код надо обнулять переменные

а обнуляем кстати

все сушности не докерные работают по той же идеологии

Да

но должны понимать - что происходит, почему происходит так и чего ждать ночью

те, о ком мы говорим, должны писать код

поработало - умерло

все сушности не докерные работают по той же идеологии

Не все.

который будет делать так, чтоб ночью люди спали

пойду я

Не все.

я про свое говорю

Не все.

у меня так

у меня так

Сисктл?

этим голову вообще не грею - есть солт, есть оттестированный набор правил и про это забываем

Я почти готов поверить только в новые инстансы

Я почти готов поверить только в новые инстансы

ну почти так: под каждый релиз сервиса билдиим образ lxd и запускаем

новый релиз - новый блд

плюс ноды виртуализации ротируются

так что - обнуляем :)

Ну просто сборка такого прода вопрос не одного дня.

А выхлоп появляется только на потоке

А написание кода дает тебе это сразу.

Так что получить похожий эффект можно. Но придется потратиться

да, так и есть, но профит уже явно был виден через полгода

сейчас мы может и рады бы изменить воркфлоу, но так как описано выше - давайте по каёфу спроектируем, положим в докер и будем подымать где угодно - увы, с полтычка не решится

Ну постепенно надо.

Эволюционным способом. Кое-где по началу идя на компромисс типа крона в контейнере. А не то конечно, если сразу хотеть все переделать, то зачастую больше половины приложений придется как-следует переписывать.

Вот вы набомбили

Я с кронами уже месяца 2 мозг долбаю и дженкинса попробовал и рандеки и контейнер с Кроном. И кажется что нужно ехать на нормальный шедулер в котором есть периодик джобс, или отменять концепцию кронов и переходить на эвенты.

нормальный шедулер ☝️

Нормальный шедулер контейнеров а не хронос )))

Имхо хронос не дженерал перпос решение

Я с кронами уже месяца 2 мозг долбаю и дженкинса попробовал и рандеки и контейнер с Кроном. И кажется что нужно ехать на нормальный шедулер в котором есть периодик джобс, или отменять концепцию кронов и переходить на эвенты.

Что такое нормальный шедулер?

Что такое нормальный шедулер?

Крон

Что может быть лучше крона, удобренного парой сотней индусов?

Что такое нормальный шедулер?

А если серьезно, то некое ПО, которое умеет (по расписанию/событию) запускать задачи/контейнеры, выбирая для этого ноду в зависимости от ресурсов.

Ну чо нить типа номада, когда он созреет по мелочам.

"в зависимости от ресурсов." - это уже другая задача

имхо

я последний раз вот это юзал: https://github.com/ajvb/kala

вроде гуд

еще и джобы через rest можно получать/пихать и т.п

Дополнительная штуковина в инфраструктуру которая ничо не может кроме как запустить контейнер на какой то случайной ноде ?

типа того

И так все завалено таким гавном )

ну ведь только после использования говна можно понять, что тебе нужно)

всяко лучше чем свое говно писать

Говорят что это удел не очень умных людей )

всяко лучше чем свое говно писать

Своё говно роднее пахнет)

Ага, давайте все свой крон писать)

Ага, давайте все свой крон писать)

Чем мы хуже Поттеринга?

ERROR: S client not available

В том то и дело

на этой почве 100500 велосипедов и появляется

как удел "очень умных людей"

на этой почве 100500 велосипедов и появляется

Самое главное - не опенсорсить. Чтобы стыдно не было, и велосипедов поубавилось

да ну

ладно, это всё лирика

смотрите что я нашел

https://github.com/NVIDIA/nvidia-docker

https://hub.docker.com/r/tensorflow/tensorflow/

Ну чо нить типа номада, когда он созреет по мелочам.

А в чем его киллерфича? Обычный запускатор по ридми.мд

поддержка почти всех облаков из коробки мб

облачный крон, видать в этом фишка

https://github.com/NVIDIA/nvidia-docker

Огонь! Это получается, что я могу шарить гпу между "виртуалками" на десктопной видюхе? Прикольно!

Для майнинга всё равно бесполезно ;]

А если серьезно, то некое ПО, которое умеет (по расписанию/событию) запускать задачи/контейнеры, выбирая для этого ноду в зависимости от ресурсов.

Пример софта? Чем плох крон?

А если серьезно, то некое ПО, которое умеет (по расписанию/событию) запускать задачи/контейнеры, выбирая для этого ноду в зависимости от ресурсов.

я даже в теории не очень понимаю - а как же узкие места бэкендов? plan9 четверть века назад на этом сильно погорел. что вообще можно запустить на абстрактной ноде? как вы это делаете?

я даже в теории не очень понимаю - а как же узкие места бэкендов? plan9 четверть века назад на этом сильно погорел. что вообще можно запустить на абстрактной ноде? как вы это делаете?

а как связаны "узкие места бэкендов" и "задача шедулинга ресурсов"?

Пример софта? Чем плох крон?

крон сам по себе не может решит всех задач. Речь про распределнный крон

а как связаны "узкие места бэкендов" и "задача шедулинга ресурсов"?

Потому что "запустить что-то на абстрактной ноде, где свободны ресурсы" упирается в оценку возможности и рациональности прокидки в выбранную ноду бэкенда - базы там, или файлухи

Потому что "запустить что-то на абстрактной ноде, где свободны ресурсы" упирается в оценку возможности и рациональности прокидки в выбранную ноду бэкенда - базы там, или файлухи

ну k8s как раз про это

Потому что "запустить что-то на абстрактной ноде, где свободны ресурсы" упирается в оценку возможности и рациональности прокидки в выбранную ноду бэкенда - базы там, или файлухи

это и есть "задача шедулинга задач на ресурсы". как это связано с "узкими местами бекендов"?

или я не понимаю, что вы называете "узкими местами бэкендов". кажется, это свойство бэкенда (полезной нагрузки), а не шедулера или вычислительной среды.

это и есть "задача шедулинга задач на ресурсы". как это связано с "узкими местами бекендов"?

угу. погуглил. в подавляющем количестве случаев все прибивается гвоздями к ноде с вольюмами. задача решается именно так :)))

или я не понимаю, что вы называете "узкими местами бэкендов". кажется, это свойство бэкенда (полезной нагрузки), а не шедулера или вычислительной среды.

я называю узким местом традиционно плохо регулируемую, плохо масштабируюемую производительность файловых систем, дисков и баз данных.

а крон то тут при чем?

я называю узким местом традиционно плохо регулируемую, плохо масштабируюемую производительность файловых систем, дисков и баз данных.

это спорный вопрос и тема для отдельной долгой дискуссии. во-первых, эти проблемы решаются (пусть и не всегда легко и тривиально). во-вторых, шедулинг не очень связан с "масштабированием производительности".

не очень сложно, например, создать блочный сторадж, который будет выдавать такую производительность, что одиночный сервер не сможет его целиком высосать.

А если серьезно, то некое ПО, которое умеет (по расписанию/событию) запускать задачи/контейнеры, выбирая для этого ноду в зависимости от ресурсов.

Мезос с хроном вроде именно это и делают

Хронос просто шедулер тасков где шедулинг вложен не в голову воркеров и метаданные таски а на уже готовую абстракцию мезоса

Это узкое решение