Dmitry
А ещё, при достаточно больших нагрузках и объемах данных, Амазон становится достаточно накладным
1. это уже история не первого-второго года 2. модель просчитывается, и в США нормально работает, т.к. люди и риски дороже автоматизации и облаков
Dmitry
Но это имхо, которое видно с той сторы океана
Vladimir
И дешевле держать человека-методологию и пару толковых админов в помощь
есть вещь, которую люди почему-то предпочитают не понимать - тебе опсы нужны и в облаке. У тебя те же сети, те же линуксы, те же sysctl'ы, та же архитектура, тот же мониторинг - все на месте.
Alexander
1. К сожалению - работа уходит из рук людей в автоматизацию 2. А что не так с серверлесс?) Вопрос в правильном распределении нагрузки. ДАльше прототипа по любому уезжают. Другое дело, когда нужно сделать что-то что серверлесс не может обеспечить. Но там уже есть другие варианты
1. Зачем квалифицированному админу жалет об исчезновении работы, где надо делать руками то, что можно автоматизировать? Да, для джунов мест работы меньше, зато в тех, что остались, больше возможностей для роста в квалифицированного специалиста. 2. Все так. Просто, там, где серверлесс применим, возможностей для применения своих скиллов квалифицированным админом и так немного.
Vladimir
да, тебе не нужны люди, конфигуряющие роутеры, но человек, понимающий что такое BGP и как работает IPSec все равно понадобится, когда ты захочешь сделать себе interconnect или vpn
Vladimir
и также человек, который будет бить по рукам за любые попытки сделать что-нибудь странное, руководствуясь непонятными доками из интернетов
Alexander
и также человек, который будет бить по рукам за любые попытки сделать что-нибудь странное, руководствуясь непонятными доками из интернетов
Все так. Тупо потому что у разработки и эксплуатации кардинально разные интересы. Потому, пока не научатся совмещать эти роли в одном лице без возникновения конфликта интересов, инженеры эксплуатации никуда не денутся.
Dmitry
Ну и отлично, меньше обезьяньей работы.
вот тут-то основная работа сегодняшнего DevOps средней руки и утекает в трубу. Мне-то не жаль) но другим наверное будет жалко
Alexander
почему интересы разные?
Доставка фич vs стабильность прода. Как показывает практика, пока заниматься и тем и другим одновременно в отрасли получается не очень успешно.
Dmitry
Не средней руки, а низкоквалифицированная работа для джунов
ну хз. Создать рабочий CI/CD на базе докера это для джунов?
Alexander
Dmitry
Создание простого пайплайна cicd - да.
думаю не стоит недооценивать уровень джунов 😄
Alexander
Тем более, что большая часть пайплайна ci все равно определяется разработкой.
Sergey
Почему "к сожалению"? "Серверлесс" малоприменим для чего-то серьезнее прототипа, но при этом позволяет админам не заниматься всякой ерундой по-мелочи на небольших инфраструктурах.
Как бэкэнд разработчик говорю - такие подходы будущее. И дело тут не столько в "админ не нужен" сколько в возможностях по снижению рисков при частой выкатке изменений, снижение рисков выбора конкретного стэка и т.д. Правда есть риск что из-за хайпа будет тоже что и с микросервисами и soa в свое время - подмена понятий
Dmitry
я не доверю джуну делать свой CI/CD хотя бы из-за рисков вывалить секреты в strout и немасштабируемых практик
Alexander
я не доверю джуну делать свой CI/CD хотя бы из-за рисков вывалить секреты в strout и немасштабируемых практик
На практике секреты чаще вываливают разработчики на ci-ной части пайплайна :)
Sergey
На практике секреты чаще вываливают разработчики на ci-ной части пайплайна :)
Ну так кто будет со стороны разработки культуру прививать?)
Vladimir
Доставка фич vs стабильность прода. Как показывает практика, пока заниматься и тем и другим одновременно в отрасли получается не очень успешно.
Доставка фич - это скорее про Product Manager'ов, а девелоперам в целом интересны скорее интересные задачи, не важно по стабилизации они или по фичам
Alexander
Ну так кто будет со стороны разработки культуру прививать?)
Ну уж точно не тот админ, которого наняли в стартап на задачи по настройке CD, с которыми справится даже джун, и легко заменяемый типовыми сервисами амазона :)
Sergey
почему?
Потому что не придет добрый админ и не настанет cd если разработчиков не волнует вопрос стабильности и сопровождения фич
Ivan
Положим. Вопрос-то какой ?
Я правильно понимаю, что на датанодах хадупа, нагрузка на дисковую подсистему в основном это последовательное чтение\запись и мало случайного чтения\записи?
Sergey
Автоматизация нужна тут не только для уменьшения рисков но и как способ перераспределить ответственность между людьми. Я не хочу делать тикеты на мониторинг новой фичи - я хочу заслать pr с конфигами для проиитея какого и что бы все автоматом
George
Тем более, что размер блока хадупа выбирается таким, чтобы фрагментация файлов была минимальна
George
типа 128МиБ - 1 ГиБ
George
эти куски гарантированно будут последовательно читаться, но тут еще вопрос в ЧАСТОТЕ обращений к диску
Ivan
А если используется hbase? То нагрузка по паттерну наоборот рандом?
George
откуда эти вопросы берутся?
George
Хадуп изначально брался как дешевый вариант собрать кластер из дешевых говно машинок
George
отказала тачка с ХДД - да и пофиг
George
репликация все дела
George
никто не будет собирать хадуп поверх ссд
George
это все что нужно знать
Старый
А если используется hbase? То нагрузка по паттерну наоборот рандом?
Какие у тебя планируются компоненты? Какой тип аналитики? Будет больше yarn/hive или spark? Ну вот реально пока выглядит как просто набор вопросов в воздух
Старый
А если используется hbase? То нагрузка по паттерну наоборот рандом?
Нельзя из твоих вопросов ничего считать, с такой постановкой иди к начальству и говори - задача не может быть выполнена тк 0 вводных
George
либо делаешь пилот из говна и палок
George
а потом в процессе его тестовой эксплуатации уточняешь требования
George
такой вот. практический путь
Старый
А почему нет?)
Боже, ответь на мои вопросы сначала
George
А почему нет?)
ответишь - зачем?
Ivan
Боже, ответь на мои вопросы сначала
Спасибо за ответ :) Считайте это просто вопросы в воздух) Чтобы было чуть больше понимания.
Старый
Мда
Старый
Бесполезные вопросы
George
и бесполезные ответы
Старый
Потому что в зависимости от кейсов будет разная нагрузка
Anonymous
Добрый день, господа. Подскажите пожалуйста. Я новичёк в кубере и есть проблема, что нагрузка на CPU суммарно на всех нодах не превышает 40%, а когда пытаюсь докинуть ещё несколько под, то пишет 0/4 nodes are available: 4 Insufficient cpu.
Anonymous
George
так нагрузка и не должна превышать
George
у тебя же есть limits / requests
George
иди читай доку
Anonymous
Справедливо
Anonymous
Спасибо
Sergey
Вопросик. Есть вот hashicorp vault где люди обнаглели и просят много денег за HA и неймспейсы (я же правильно понимаю что в опенсурсной версии этого нет?). Что помимо стоит глянуть для управления секретами? Причем скажем фичи в духе ротация секретов не оч нужны (достаточно апишки, с которой можно было бы эти секреты обновлять, в худшем случае я напишу штуку которая будет ротацией заниматься). Что кто юзает?
Bogdan
привет, подскажите плз у меня есть ML приложение, которое при обучении генерирует модели, они очень тяжелые. Пока все ок, но в будущем придется разделить обучение и предсказание на разные тачки в голову пришла идея примонтировать одну и ту же директорию к тачке, где происходит обучение, и к тачке, где делается предикт насколько это плохая схема? может есть что-то лучше? что почитать
Евгений
У вас клауд? Или физические машины? Сетевой сторадж есть?
Bogdan
сторадж есть, но sftp
Евгений
Кидайте данные на отдельный сетевой диск в клауде, подключайте его к одной машине, а потом к другой
Евгений
Можно в S3 модель пушить, тоже вариант
George
Люди тратили время, сделали классный продукт. Пора отбивать расходы
Евгений
А вам нужен HA прям?
Т.е. мой тезис такой: передеплой пода с волтом на другой сервер это 20-30 секунд. Если ваша нагрузка на СЕКРЕТНИЦУ такая, что 30 секунд это критично, то, вероятно, вы сможете и заплатить за энтерпрайз версию P.S. Или вы неправильно юзаете секретницу