Пример софта? Чем плох крон?
крон сам по себе не может решит всех задач. Речь про распределнный крон
Aleksey
🏳️ Phil
а как связаны "узкие места бэкендов" и "задача шедулинга ресурсов"?
Потому что "запустить что-то на абстрактной ноде, где свободны ресурсы" упирается в оценку возможности и рациональности прокидки в выбранную ноду бэкенда - базы там, или файлухи
Aleksey
Sergei
Потому что "запустить что-то на абстрактной ноде, где свободны ресурсы" упирается в оценку возможности и рациональности прокидки в выбранную ноду бэкенда - базы там, или файлухи
это и есть "задача шедулинга задач на ресурсы".
как это связано с "узкими местами бекендов"?
Sergei
или я не понимаю, что вы называете "узкими местами бэкендов".
кажется, это свойство бэкенда (полезной нагрузки), а не шедулера или вычислительной среды.
🏳️ Phil
это и есть "задача шедулинга задач на ресурсы".
как это связано с "узкими местами бекендов"?
угу. погуглил. в подавляющем количестве случаев все прибивается гвоздями к ноде с вольюмами. задача решается именно так :)))
🏳️ Phil
или я не понимаю, что вы называете "узкими местами бэкендов".
кажется, это свойство бэкенда (полезной нагрузки), а не шедулера или вычислительной среды.
я называю узким местом традиционно плохо регулируемую, плохо масштабируюемую производительность файловых систем, дисков и баз данных.
Aleksey
а крон то тут при чем?
Sergei
я называю узким местом традиционно плохо регулируемую, плохо масштабируюемую производительность файловых систем, дисков и баз данных.
это спорный вопрос и тема для отдельной долгой дискуссии.
во-первых, эти проблемы решаются (пусть и не всегда легко и тривиально).
во-вторых, шедулинг не очень связан с "масштабированием производительности".
Sergei
не очень сложно, например, создать блочный сторадж, который будет выдавать такую производительность, что одиночный сервер не сможет его целиком высосать.
Vladimir
А если серьезно, то некое ПО, которое умеет (по расписанию/событию) запускать задачи/контейнеры, выбирая для этого ноду в зависимости от ресурсов.
Мезос с хроном вроде именно это и делают
Vladimir
Denis
Хронос просто шедулер тасков где шедулинг вложен не в голову воркеров и метаданные таски а на уже готовую абстракцию мезоса
Denis
Это узкое решение
Denis
Вы можете взять ярн на нем запустить таску которая будет запускать другие таски в докере на этом же ярне
Denis
Это не комплексное решение для различного рода шедулинга.
Denis
Лонг раннинг таски с автохилингом и реплика фактором это тоже шедулинг
Denis
Хронос вам этого не даст
🏳️ Phil
не очень сложно, например, создать блочный сторадж, который будет выдавать такую производительность, что одиночный сервер не сможет его целиком высосать.
блочный сторадж ещё надо терминировать
Anonymous
Пример софта? Чем плох крон?
Не ко мне вопрос, не я ищу шедулер. Но причины мне сгенерировать
Ilya
Коллеги, помогите найти решение
docker-compose up - поднимает контейнер и выводит его логи
docker-compose up -d - работает нормально
docker-compose ps - выводит список запущенных контейнеров
docker-compose logs - ничего не выводит
docker logs b2248f74122f - ничего не выводит
docker -v
Docker version 1.12.5, build 047e51b/1.12.5
docker-compose -v
docker-compose version 1.11.1, build 7c5d5e4
Как починить logs? В чем может быть проблема?
Ilya
>Логи идут в файл внутри контейнера
Нет, в композе в том числе и MySQL контейнер из докер-хаба
Dmitry
Коллеги, помогите найти решение
docker-compose up - поднимает контейнер и выводит его логи
docker-compose up -d - работает нормально
docker-compose ps - выводит список запущенных контейнеров
docker-compose logs - ничего не выводит
docker logs b2248f74122f - ничего не выводит
docker -v
Docker version 1.12.5, build 047e51b/1.12.5
docker-compose -v
docker-compose version 1.11.1, build 7c5d5e4
Как починить logs? В чем может быть проблема?
Не сталкивался с подобным, но может попробовать docker-compose logs -f ?
Ilya
Я пробовал так
Возвращается только "Attaching to " и имена контейнеров
И консоль висит
An7on
а по имени контейнера тоже не работает?
Ilya
а по имени контейнера тоже не работает?
Да, тоже
$docker-compose logs db
Attaching to projectname_db_1
$
An7on
docker-compose logs projectname_db_1?
Ilya
[user@b0 zabbix_proxy]$ docker-compose logs zabbixproxy_zabbix-proxy-db
ERROR: No such service: zabbixproxy_zabbix-proxy-db
[user@b0 zabbix_proxy]$ docker-compose logs zabbix-proxy-db
Attaching to zabbixproxy_zabbix-proxy-db_1
[user@b0 zabbix_proxy]$
An7on
docker-compose logs zabbixproxy_zabbix-proxy-db_1 должно работать
Ilya
[user@b0 zabbix_proxy]$ docker-compose logs zabbixproxy_zabbix-proxy-db_1
ERROR: No such service: zabbixproxy_zabbix-proxy-db_1
An7on
:(
An7on
мб обновить докер, я хз
An7on
https://forums.docker.com/t/docker-compose-hangs-at-attaching-to/2517/11
Dmitry
Или попробовать другой драйвер использовать для логов (syslog или journald) https://docs.docker.com/compose/compose-file/#/logging
Ilya
Или попробовать другой драйвер использовать для логов (syslog или journald) https://docs.docker.com/compose/compose-file/#/logging
Спасибо за наводку
У нас сломался journald. Из-за этого не работал logs.
[centos@b0 ~]$ sudo journalctl --verify
912ce0: Invalid object
File corruption detected at /run/log/journal/f32e0af35637b5dfcbedcb0a1de8dca1/system.journal:912ce0 (of 16777216 bytes, 56%).
Dmitry
engelbart
У меня тут докер старый нашелся на одном хосте
docker version Client version: 1.3.1
и я с ним ника кне могу docker login сделать
engelbart
поломали там поди?
Anonymous
такая проблема, на системном диске заканивается место(осталось 1Гб), а докер как раз съедает много памяти, но у меня к /home примонтирован диск с 1Tб памяти.
можно ли /var/lib/docker тоже примонтировать к диску c 1Tб или другими способами решить эту проблему
Evgeny
Можно
Evgeny
сделайте симлинк
Anonymous
ага, думал про симлинк
E
нет, не сломается
Hills of
Перенесите все содержимое /var/lib/docker в новое расположение на террабайтном диске и смонтируйте туда /var/lib/docker.
Anonymous
хорошо, спасибо парни
Lex
rsync -avhxHP src/ dst/
Anonymous
О, круто
Anonymous
Я вот думаю может весь /var/lib смонтировать на второй диск, а то он сжирает много места
Vladimir
лучше бы под lvm систему перевести конечно
R-omk
в оверлее контейнеры перестают видеть другдрага на разных хостах, причем инспект сети тоже показывает как будто нет других контейнеров, хотя днс резолвится правильно
че это может быть?
Evgeny
Версия докера какая?
R-omk
Версия докера какая?
1.13.1
сварм мод, все работало днем, потм нужно было грохнуь один узел и переустановть, в сворм вернулся но сети не работают
R-omk
тоесть оверлеи создаются но контейнервы внитри них не видят другдруга
Evgeny
А иптейблс не тупит ли?
R-omk
похоже в 1.13.2 должно пофикситься
yopp
#5618
> petehunt commented 16 hours ago
> Yep, we are moving to gke and no longer seeing this issue (so no more bug bounty from us :))
Denis
А кто нибудь знает реально ли service update заставить рестартить инстансы в определенном порядке, который например можно забрать через некий http api?
Vladislav
по supervisor тут спецы есть? как его завершить, если определённый, им запущенный, процесс завершился?
Alf 🙀
вы хотите завершить супервайзор потому что процесс в нем завершился, правильно?
Alf 🙀
если так то вам не супервайзор нужен...
Vladislav
supervisor нужен чтобы поддерживать необходимое окружение к основному процессу
Vladislav
основной процесс завершился - контейнер должен завершиться
Alf 🙀
supervisor нужен чтобы поддерживать необходимое окружение к основному процессу
для этого обычно используют доккер
Alf 🙀
основной процесс завершился - контейнер должен завершиться
если основной процесс супервайзор то нет
Alf 🙀
основной процесс завершился - контейнер должен завершиться
вооружитесь башом и не забивайте гврзди микроскопом
Alf 🙀
while true вот это вот все
Vladislav
ну у меня к примеру один из дополнительных процессов завершается периодически и его надо перезапускать
Evgeny
Почему-то мне кажется что речь опять про php окружение?
Vladislav
я сейчас его запускаю в баше с & и надо значит ещё тулить цикл
Vladislav
стрёмно как-то
Alf 🙀
блять какая боль
Alf 🙀
простите
Sergei
while true вот это вот все
а теперь туда надо добавить троттлер, чтобы не рожать 1000 процессов в секунду. нужно добавить логгер stdout процесса. нужно добавить возможность "сдох 100 раз за 10 секунд - до свидания". нужно впилить туда очистку окружения и изменения привилегий. блаблабла. у нас получился openrc/supervisor/runit/s6, заодно переписали с баша на нормальный язык.