Andrey
Докер
Anton
тролль, сгинь
доводы кончились. если в компании снг стиль разработки и управления то все держим свое под боком и сидим по уши в легаси на ubuntu 12+php 5,3. через 3 года будет дырявый харбор с помойкой из образов
George
доводы кончились. если в компании снг стиль разработки и управления то все держим свое под боком и сидим по уши в легаси на ubuntu 12+php 5,3. через 3 года будет дырявый харбор с помойкой из образов
приватные репы в гитлабе или докерхабе тоже имеют тенденцию превращаться в помойку
George
так же я еще предложил три облачных регистри помимо
Anton
так же я еще предложил три облачных регистри помимо
надо сравнивать, у меня нет опыта работы с ними.
George
вот и все. а докерхаб выдает смузиопса
Andrey
У нас ещё роскомнадзор иногда бывает. К вопросу про свой нужность своего регистри
Telebotik
А какое это кино про уголовников имеет отношение к докеру? )
Johnny
А какое это кино про уголовников имеет отношение к докеру? )
может там есть разборки в порту? )
Telebotik
Логично.
Тогда фильм "В порту" с Марлоном Брандо нужно рекламировать пересмотреть😊
Юрий
Друзья, не подскажите ли, в чем загвоздка?
Поднимаю из образа кучу контейнеров (500шт)
Каждый из них работает по 30-60 сек, выполняет задачу и умирает.
Но интересно то, что в статусе up находится одновременно только 20-60 контейренов.
Остальные висят в статусе Created и поднимаются только когда кто то из отработанных контейнеров умрет.
Т.е. получается такой конвеер, от которого хотелось бы избавиться.
Что делать?
George
Друзья, не подскажите ли, в чем загвоздка?
Поднимаю из образа кучу контейнеров (500шт)
Каждый из них работает по 30-60 сек, выполняет задачу и умирает.
Но интересно то, что в статусе up находится одновременно только 20-60 контейренов.
Остальные висят в статусе Created и поднимаются только когда кто то из отработанных контейнеров умрет.
Т.е. получается такой конвеер, от которого хотелось бы избавиться.
Что делать?
Больше 20 контейнеров единомоментно плохо работают
Dan
Юрий
Больше 20 контейнеров единомоментно плохо работают
не знаю.
у меня проект в 42-ух контейнерах работает как часы)
Anonymous
А ты им Entrypoint какой задал
Anonymous
Что они делают задачу и умирают
Anonymous
У тебя проблема что контейнеры умирают или то что 500 штук одновременно не запускается?
Юрий
У тебя проблема что контейнеры умирают или то что 500 штук одновременно не запускается?
одноврменно не работают.
Anonymous
Ты псих. Зачем тебе 500 контейнеров
Юрий
надо))
Юрий
Юрий
т.е. вот такая картина.
а там выше ещё 450 штук в статусе created
Anonymous
Что как оркестратор используешь?
Anonymous
Небойсь compose
setevoy
@chronovos
https://stackoverflow.com/a/37628520/2720802
Что-то из этого, скорее всего.
Юрий
Что как оркестратор используешь?
приложение которое там запускается должно работать изолировано. такое вот условие.
Несколько поднятых экземпляров валят хост машину
Anonymous
Думаю ulimit поможет
Anonymous
А вообще лучше такие вещи на кластере делать
setevoy
ну и логи бы их глянуть...
они просто висят, или ошибки срут?
setevoy
@Nickuru + к обоим пунктам
Юрий
ну и логи бы их глянуть...
они просто висят, или ошибки срут?
нет. работают хорошо. ошибок ни в памяти, ни где бы то ни было нет.
сделал расчет - отправил результат. Умер.
Напрягает только то, что на достаточно мощном севере. 60гб памяти и 16 ядер, выполняется так мало экземпляров приложения.
Класте будет через неделю, но вдруг окажется что дело действительно в мощности, а не в операционке и каих то лимитах и тогда грош цена вообще этой затее)
setevoy
так скорее всего в каких-то лимитах
500 контейнеров - не проблема вообще машине такой
Юрий
каждый контейнер выжирает около 100мб оперативки.
процы загружены на 70-80%
т.е. сервер взят конкретно под 500 одновременны выполнений задач. но будто не используется =\
setevoy
сокеты, порты, лимиты файлов
проц и память - не показальны в данном случае
setevoy
логи самого докер-демона тоже не говорят ничего?
ну и вообще в journalctl помониторить, когда запускаются контейнеры
George
Проблема в докере
Anonymous
Можно упереться в Docker API
Юрий
Anonymous
И тогда будет весело
George
Он клиент-серверный и тот же компоуз затыкается в какой-то момент из за коннекш пула
George
И ждёшь.... Пока оно отработает запросы
George
Даже в доке на куб пишут, сколько контейнеров на узел можно. И там числа порядка сотни, а не нескольких сотен. Внезапно, да?
setevoy
Внезапно, да :-/
У нас до 200, но на кластере, 3 ЕС2 в автоскейлинге.
setevoy
@gecube А не поделишься ссылкой на такие доки?
Ничего не наглуливается.
Точнее нагугливается как раз именно про ресурсы самой системы, типа такого:
https://www.reddit.com/r/devops/comments/2qz771/how_many_docker_containers_per_host/
И я вот как-то ни разу не слышал про лмиты на dockerd API (но я вообще доки не читаю).
George
нет, таких лимитов нет, это вообще зависит от цпу и прочего. но есть некие логичные соображения
George
наверняка у докера внутри есть какое-то глобальное состояние, что даже если ты будешь в него стучаться по апи, то он не сможет одновременно запускать контейнеры
George
у меня в экспериментах, повторюсь, 20 контейнеров - работало все стабильно, пробуксовок не было
Anonymous
Не ну по ссылке выше чел пишет о 1023 контейнерах
George
начиная с 20+ - очень зависит от параметров системы
Anonymous
Может там тоже кластер
George
более 100 - это изврат
George
@erzentd
George
потому что если у тебя 1000 контейнеров поверх кластера, то их стейт хранится в отдельном хранилище
George
Внезапно, да :-/
У нас до 200, но на кластере, 3 ЕС2 в автоскейлинге.
скажи, вот, как думаешь, какой практический смысл столько контейнеров гонять (100+) на одной ноде?
George
учитывая, что многие берут маленькие ноды.... типа 16ГиБ ОЗУ и 4 цпу... и думают, что все ок
George
а железные сервера у нас... ну, там 64 потока vCPU + 512GB... но все равно это не сотни контейнеров. Ну, может 50-70 жирных...
George
или что там за ноды такие жирные......
Alex
Привет, подскажите как пробросить в контейнер один файл а не всю директорию
-v /etc/hosts:/etc/hosts - этот вариант что то оне сработал
Alex
ubunta
inqfen
скажи, вот, как думаешь, какой практический смысл столько контейнеров гонять (100+) на одной ноде?
Гонял под 500, иногда демон вис
inqfen
Точнее его api
inqfen
Больше вроде проблем не было
central
Привет, подскажите как пробросить в контейнер один файл а не всю директорию
-v /etc/hosts:/etc/hosts - этот вариант что то оне сработал
видел что в -v указывали файл а не директорию
George
Но докер говно и там дьявол в деталях
George
Моя рекомендация - не вольюм использовать, а использовать полный синтаксис для bind mount
George
+ в том, что он не создаст каталог, вместо файла, если он недоступен
inqfen
Ебанизм в одном месте с выделением и управлением виртуалками
inqfen
Проще было 2 машины сделать, под дев и под тестинг
inqfen
В общем около 800 контейнеров