Вадим
делай ) в чем проблема
так я не достучусь до него - курлу нужен публичный порт который не публикуется поскольку nginx и другие сервисы связаны с данным сервисом кастомным network
George
ты в компоузе проверяешь работоспособность сервиса ВНУТРИ контейнера
George
не выходя за его пределы
George
если ты хочешь обратное - тебе нужен не хелсчек, а внешняя система мониторинга
Вадим
не выходя за его пределы
тогда я совсем запутался зачем тогда доккеру это? https://docs.docker.com/engine/reference/builder/#cmd#healthcheck насколько я понимаю ему это нужно для того чтобы понимать рабочий контейнер или нет для случая если он не рабочий - поднять еще один - или я не прав?
George
примерно верно
George
но у тебя контейнер может быть недопустпен и по независящей от него причине - например, упал канал связи
George
а ты тут со своим хелсчеком )
Вадим
так хэлсчек работает в докере и мониторит в ноде - а там сетка то виртуальная а не железная - как она упадет?
George
🤦‍♂️
George
если ты хочешь обратное - тебе нужен не хелсчек, а внешняя система мониторинга
короче - хелсчек тебе нужен, чтобы понять какой контейнер сдох, если визуально он живой. Ничего общего с той задачей, которую ты решаешь, это не имеет. Тебе нужно 👆
George
ставишь рядом условный прометеус и в него льешь метрики - про доступность, про нагрузку и пр. Настраиваешь алерты. Сначала реагируешь вручную. Потом на алерт вешаешь скрипт и т д
Вадим
короче - хелсчек тебе нужен, чтобы понять какой контейнер сдох, если визуально он живой. Ничего общего с той задачей, которую ты решаешь, это не имеет. Тебе нужно 👆
мне нужно в swarm чтобы если инстанс сдох или запинается - поднять автоматом еще один а для этого sarm нужно знать живой инстанс или нет - или я таки не так все понимаю?
George
у тебя неверное понимание когда нужно поднимать новый инстанс
George
сдох == хелсчек внутренний тебе поможет
George
запинается == непонятно, т.к. помимо инстанса может быть сто и одна причина, почему идет затык
Вадим
swarm для этого и задуман же чтобы поддерживать параметры сервиса! ежели я его попросил держать 3 инстанса - то если кто-то сдохнет - он будет пытаться поднять еще один если сдохший оживет - он потушит один - т.к. просили 3!
Вадим
чот похоже мы разные доки читали...
George
дело не в доках
George
дело в том, что есть принципиально разные кейсы
George
вот смотри
George
1. процесс внутри контейнера сдох
George
да, сворм его перезапустит и все будет ок
George
2. ты нарезал хелсчек и проверяешь доступность порта внутри контейнера. Скажем, у тебя там процесс "залип" и больше не отвечает на запрос - сворм опять же его перезапустит (но без хелсчека ты не сможешь понять что происходит)
George
3. более сложные кейсы - ты просерил 10% запросов из-за того, что сервис тупил, но при этом хелсчек из п2 отрабатывает. Если ты попробуешь сделать что-то типа хелсчека на потерянные запросы - ничего хорошего не выйдет. Просто потому что. Поэтому я тебе и говорю, что если нужно что-то отличное от базового "работоспособность сервиса в отрыве от окружения", то тебе нужна ОТДЕЛЬНАЯ СИСТЕМА мониторинга
George
которая сможет тебе сообщить о проблеме - раз, и в идеале - автоматизированно среагировать
George
если ты думаешь, что есть какая-то автомагия - нет, все держится на костылях из изоленты и баша, как обычно
Petr
Да изи 500, 502 пошли откат:)
George
тем более, что да, бывает, ЧТО САМА СЕТЬ В СВОРМЕ начинает вести себя странно. И без ВНЕШНИХ проверок ты этого не увидишь
Вадим
да это все понятно но у меня сейчас задача сначала health cheking прикрутить чтобы сворм инстансы добавлял/убивал по необходимости а внешний мониторинг естественно потом добавлять будем
George
тогда штатным способом является добавить curl localhost:5000/health (или какой у тебя там эндпойнт)
George
можешь прямо в имидж запекать
Вадим
тогда штатным способом является добавить curl localhost:5000/health (или какой у тебя там эндпойнт)
так в том-то и проблема - сервис подключен к кастомной сетке - что освобождает от публикации портов для хоста - даже если я и проброшу порт наружу (что не есть хорошо) как сворм узнает кто из инстансов ответил на http://localhost:5000/health?
George
> - даже если я и проброшу порт наружу (что не есть хорошо) как сворм узнает кто из инстансов ответил на http://localhost:5000/health? еще раз - так не надо делать 😱
George
тебя внешний хелсчек не интересует
George
точнее интересует, но не из контейнера
Nayls
1. Так ты можешь сделать общую сеть или attachable=true и добавить ещё один сервис, который будет курлом ходить на твои апишки. 2. healthcheck ты добавишь и будет он работать так, 1 апишка сдохла и докер рестартует этот контейнер всё. 3. Если 3 разных сервера ты можешь по имени хоста забирать, кто тебе ответил и тп
Вадим
хэлсчек вообще не из контейнера - это инструкция докеру как проверять состояние инстансов - дергает курл сам докер
George
> 2. healthcheck ты добавишь и будет он работать так, 1 апишка сдохла и докер рестартует этот контейнер всё. именно
Вадим
а если все 3 инстанса на одном узле?
George
я 200% уверен, что хелсчек проверка выполняется ВНУТРИ контейнера, а не на уровне докер демона
Nayls
хэлсчек вообще не из контейнера - это инструкция докеру как проверять состояние инстансов - дергает курл сам докер
Всё будет работать, возьми композ, запусти nginx в нём и не юзай port, не паблишь и добавь healthcheck: curl http://localhost
Nayls
Ты всё поймёшь
Nayls
а если все 3 инстанса на одном узле?
Я хз, я где-то видел пример со свармом и там апишки имеют свой id, как сделать такое хз, но всё можно )
Nayls
а это неажно просто самый простой пример это осознать
Nayls
Ты можешь в свой образ положить .sh скрипт который лезет в базу, в гугл, не важно, и вызывать его из этого healthcheck и если ок, то докер считает, что сервис работает
Вадим
а тут речь идет о том чтобы сворм добавлял/убирал инстансы в зависимости от живости присутсствующих
Nayls
Если нет, то пытается рестартануть, хотя вроде в сварме там можно и стопить и тп
Nayls
Так он у тебя не будет отвечать. Считай убрал. Да и ты вроде не спрашивал о том, чтобы сварм тебе убирал
Nayls
так это подразумевалось - хелсчекинг в сворме как раз для этого
Что-то я не понимаю о чём ты. хелс докер фишка, сварм тебе лишь даёт объединение и пару всяких фишек с отками и тп
Nayls
Оно не работает как-то иначе в сварме
Вадим
Что-то я не понимаю о чём ты. хелс докер фишка, сварм тебе лишь даёт объединение и пару всяких фишек с отками и тп
начнем с заново сворм держит параметры сервиса в том виде которые ему заданы - его попросили держать 3 инстанса если один сдох он запустит еще один если сдохший ожил - он погасит один чтобы было 3 как просили определяет он живучесть инстанса при помощи хэлсчекинга все верно?
Вадим
кан настроить корректно хэлсчекинг чтобы сворм мог различать какой инстанс сдох (в случае если несколько инстансов запущены на одном узле и все отвечают на localhost:5000/health) ?
George
он сам определяет
George
потому что хелсчек ВНУТРИ контейнера срабатывает
George
🤦‍♂️🤦‍♂️🤦‍♂️
Вадим
потому что хелсчек ВНУТРИ контейнера срабатывает
т.е. не нужно определять хэлсчек для контейнера? тогда это зачем? https://docs.docker.com/engine/reference/builder/#cmd#healthcheck
George
т.е. выглядит это так докер демон - контейнер 1, выполняй хелсчек контейнер 1 - вот результат, хозяин докер демон - ок! контейнер 2, выполняй хелсчек контейнер 2 - мммммм докер демон - контейнер 2, але! повторяю! Хелсчек статус ? контейнер 2 не отвечает и перезапущен докер демон - контейнер 3, выполняем хелсчек контейнер 3 - он сломалси контейнер 3 уходит на перезапуск
George
Неее... он походу про другое
я вообще хз про что коллега тогда
George
т.е. не нужно определять хэлсчек для контейнера? тогда это зачем? https://docs.docker.com/engine/reference/builder/#cmd#healthcheck
да, это тот самый хелсчек, который ты можешь и через докер-компоуз определить
Nayls
кан настроить корректно хэлсчекинг чтобы сворм мог различать какой инстанс сдох (в случае если несколько инстансов запущены на одном узле и все отвечают на localhost:5000/health) ?
Ты просто добавляешь healthcheck и он работает исключительно для каждой копии внутри А вот если ты хочешь, как-то определять, что api_2 сдох удаляем это тут не сделать
George
так я про него же и спрашиваю
так я тебе про него и отвечаю
Вадим
Ты просто добавляешь healthcheck и он работает исключительно для каждой копии внутри А вот если ты хочешь, как-то определять, что api_2 сдох удаляем это тут не сделать
чот я совсем тогда запутался - просветите меня пожалуйста для чего нужен хэлсчек в компоузе или в доккерфайле
Nayls
Смотри, Healthcheck в докерфайле это как бы ты для себя сразу добавляешь, как CMD или ENTRYPOINT. В docker-compose это тоже самое, просто если уже есть в докерфайле, то можешь не указывать, но можешь указать и это переопределит HEALTHCHECK из докерфайла
Nayls
А основная суть этого такая, есть апи и если по его хелсчеку что-то пошло не так, докер рестартит и помечает его как Unhealth (не живой)
Вадим
Смотри, Healthcheck в докерфайле это как бы ты для себя сразу добавляешь, как CMD или ENTRYPOINT. В docker-compose это тоже самое, просто если уже есть в докерфайле, то можешь не указывать, но можешь указать и это переопределит HEALTHCHECK из докерфайла
про описание в докерфайле и переопределение в компоузе - это все понятно мне не понятно из ваших слов что есть какие-то 2 разные проверки живучести нстанса: - одна своя у докера внутри зашитая -2я кастомная описываемая в файлах но непонятно зачем
Nayls
Docker -> Docker Compose (просто надстройка над докером, чтобы просто удобнее писать) -> Docker Swarm (лишь даёт управление сервисами в рамках Роя (во славу роя)
Nayls
Всё это докер и работает везде всё одинаково, всё это лишь добавляет какой-то кусок фишек
Nayls
Просто это может быть что угодно