inqfen
Мда
inqfen
Делай как хочешь
Alibek
Но так и делаю.
M
а что будет если какой-то контейнер будет создавать просто большую нагрузку по ио
M
или там цпу или раму
M
хотя насчет последних вроде есть ограничения
inqfen
Просто знай, что подход кривой и если еще не столкнулся с проблемами, то столкнешься
inqfen
Ты не сможешь нормально разделять ресурсы на одной системе
Alibek
кем?
ядром
Alibek
Ты не сможешь нормально разделять ресурсы на одной системе
вообще-то вполне себе разделяются и достаточно эффективно.
inqfen
вообще-то вполне себе разделяются и достаточно эффективно.
Как ты будешь разделять переключения контекста, еще раз?
M
ядром
а почему ядро убьет его? вы настраиваете ограничения?
central
ядром
OOM есть а IOK по моему все таки нету
Alibek
Как ты будешь разделять переключения контекста, еще раз?
я их не хочу разделять, этим занимается ОС (в крайнем случае есть numa)
central
меня больше интересует если кто то стойку из разетку выдернит условно, насколько большая известная точка в итоге будет
inqfen
Что будешь делать, если какой-то процесс их слишком много вызывает? И как вообще будешь определять какой?
Alibek
При чем тут вообще NUMA?
при том, что время переключения контекста можно сократить, если закрепить группы процессов за конкретным доменом numa в многопроцессорных системах
inqfen
Вот сидишь ты, смотришь на мониторинг и видишь их 50k в секунду, клиенты жалуются, что все хуево работает, они тебе платят деньги и видят за них хуй. Какие дальнейшие действия?
artb1sh
inqfen
Чего 50к?, не много не в курсе дискача
Переключений контектста
Alibek
Переключения контекста за год
central
Два блока питания у каждого отдельная линия? Не?
все это понятно, но все же если вдруг орубится, то не реально по моему будет потом востановит
Alibek
за два дня
artb1sh
все это понятно, но все же если вдруг орубится, то не реально по моему будет потом востановит
Ну да, у нас нач с инфарктом чуть ли не прибежал когда на группе серверов аллерт прилетел - паур офф
inqfen
И что хорошего в твоих картинках? Видно что их дохуя
Александр
Посоветуйте статей или книгу по docker networking
Alibek
И что хорошего в твоих картинках? Видно что их дохуя
ну эти картинки конечно надо рассматривать в совокупности например с cpu load или cpu utilization за год (смена ядра в апреле прошлого года при овер 700 контейнерах, в июле начали применять отключение неиспользуемых контейнеров) сейчас # docker ps | wc -l 412
Alibek
ну да
George
очень современно и своевременно, ога
Alibek
А это тут причём? Планы по внедрению графаны с прометеем есть, но пока не до них.
Alibek
Меня больше интересует вопрос что делать с debian и возможно с docker что-бы порешать вот этот пик по IO: на картинке видно как IO взлетело после остановки 2200 контейнеров (на загрузку по system можно не обращать внимание пока). этот пик - многократный вызов ifquery -l --allow=hotplug
George
> на картинке видно как IO взлетело после остановки 2200 контейнеров я почему-то не удивлен
George
сеть какая ?
Alibek
ingress
George
swarm еще до кучи ?
George
Ж-/
Alibek
да.
George
тебе точно надо брататься со старым хрычем
George
@erzentd
Alibek
Я умею изумлять )
Alibek
Вот сидишь ты, смотришь на мониторинг и видишь их 50k в секунду, клиенты жалуются, что все хуево работает, они тебе платят деньги и видят за них хуй. Какие дальнейшие действия?
Обычно: посмотреть какие процессы в топе (по cpu,ram,io,slab), и прибить, но обычно это быстрее делается самой ОС. А я потом посмотрю в dmesg или логи atop если процесс длительно висел. Хуже случаи когда отваливается IO по накопителю (ядро прибивает процесс непосредственного ввода/ввода), а ждущая io аппликуха так и остаётся в состоянии D, такие процессы останутся висеть до перезагрузки ядра - по крайней мере я не знаю как это можно решить по другому, если кто знает - поделитесь инфой.
Alibek
Так тот кто контекст дергает может быть далеко не в топе
только если у него приоритет будет сильно ниже чем у остальных процессов и обычно такой процесс вообще не блокирует работу остальных процессов
Alibek
Не зря же в кубе по дефолту 110 контейнеров на ноде
Это ограничение как я понимаю в основном связанно с тем что k8s по умолчанию использует сеть ingress у которой по умолчанию маска /24, а для балансировки на каждый сервис используется +1 IP, т.е. грубо из /24 резервируется 35 адресов, а остальное делится пополам. Ну и естественно, что при увеличении кол-ва нод будет исчерпываться зарезервированный ресурс. А так вроде уже давно стоят цели в 500 pods per machine https://github.com/kubernetes/community/blob/master/sig-scalability/goals.md - но как-то медленно идёт развитие.
Alibek
а что будет если какой-то контейнер будет создавать просто большую нагрузку по ио
Ну и в docker есть pause/unpause (cgroup.freezer) Кроме-того по этому поводу можно поиграть с /sys/fs/cgroup/blkio/docker/<container id>/{ blkio.throttle.read_bps_device blkio.throttle.read_iops_device blkio.throttle.write_bps_device blkio.throttle.write_iops_device } Правда это будет работать только direct_io скорее всего...
Andriy
всем привет! подскажите в докер компоуз под виндой пофиксили проблему с relative path?
Andriy
🙄не юзаьб докер на винде
есть нужна по быстрому поднять прожект, инсталить рядом бубунту не охота, на виртуалке поднимать тоже
NO
Vagrant :)
Старый
Vagrant :)
ему лень виртуалку делать
Старый
он уже написал
NO
Да там виртуалка за тебя делается, знаешь же
Andriy
есть возможность нативно юзать докер, поэтому и переспросил тут, помню раньше с относительными путями была трабла... как там с этим обстоят сейчас дела я не в курсах
NO
Может там через wsl всё ок
Старый
Может там через wsl всё ок
я пробовал через wsl, не канает увы
central
Может там через wsl всё ок
второй версии еще нет
Anatoly
/report
Andriy
уже сам методом тыка всё розрулил
Andriy
но на это ушло почти два часа... мдэ...
𝐁𝐨𝐡𝐝𝐚𝐧
Здравствуйте! Подскажите, docker нормально работает с firewalld ?
M
@vizdrag
M
^^^^
Dmitry
но на это ушло почти два часа... мдэ...
так че там с виндой? Поддерживает относительные пути для docker-compose?
Dmitry
Здравствуйте! Подскажите, docker нормально работает с firewalld ?
нет, как по мне, если речь о продакшене, то лучшая практика запретить рулить докеру iptables, и генерить правила самому, через какую-нибудь систему управления конфигурацией