Etki

но она и не нужна, если есть централизованное хранилище

Andrei

Так я и не хочу отказывать от json-file. Меня это вполне устраивает на данном этапе. Просто хотелось бы не изобретать велосипед, а найти готовое решение, чтобы эти самые логи шиппить в elk. Готовое - не сидеть и не писать обвзяку для генерации конфигов для logstash.

Andrei

Централизованное хранилище в моем случае нужно для удобства и быстроты реагирования, никак не замена. Нет такой цели

Etki

ну он просто не нужен для ручного анализа, если есть хранилище. он может быть нужен для других штук, и почему они там не реализовали банальную цепочку логеров - хз, но я просто ен вижу что такого страшного произойдет в ситуации, когда ненужный функционал обрубится.

Andrei

И, кстати, как ведет себя docker в случае недоступности сервера логгирования?

Andrei

Если логи по udp едут, то просто пропадут. Если по http, то...?

Andrei

Эм, а если сервер на который уезжают логи недоступен по какой-либо причине, а на другом сервере нужно посмотреть что контейнер выдает?

Etki

то тоже пропадут, если принимающая сторона не может их принять, тут без вариантов

Etki

это из разряда "если метеорит упадет, но один сервак сохранится"

Etki

В этом случае надо поднять кластер ES и натравить на него кластер graylog, они оба нормально с этим живут.

Andrei

Да ну, тупо связность сети нарушилась!

Andrei

Кластер, чтобы мониторить кластер)))

Etki

связность сети нарушилась так, что вы спокойно попадаете в дц, но только на один сервак?

Andrei

И да, у меня есть мониторинг мониторинга)))

Andrei

У меня много серверов в разных дц

Anton

Ребят, а кто-нибудь знает готовую обвязку для доставки логов докера c дефолтным json драйвером в elasticsearch? А ля: получает список контейнеров, подцепляется к логам, шиппит их куда надо. Я же правильно понимаю, если включить, к примеру GELF драйвер, то локально логи (через docker logs) уже не посмотришь?

telegraf ?

Etki

ну, дц сами по себе должны уметь существовать в отвязке друг от друга

Etki

я бы не стал заводить хранилище логов в дц 1 и забрасывать туда данные из дц 2

Andrei

ну, дц сами по себе должны уметь существовать в отвязке друг от друга

В каждом ДЦ поднимать хранилище? Жирно будет)

Andrei

telegraf ?

О, спасибо тебе, добрый человек! И на go, как я люблю. На первый взгляд прекрасная вещь! То что нужно!

Etki

В каждом ДЦ поднимать хранилище? Жирно будет)

о чем тут говорить вообще

Andrei

о чем тут говорить вообще

ИМХО, как для вспомогательной задачи, не о чем!

Etki

- я хочу собирать логи, чтобы смотреть их все равно локально. и, пожалуйста, чтобы на го было написано. меня беспокоит разделение сети, но не между ДЦ.

Andrei

Я не вижу противоречий между тем, чтобы они хранились локально и, по возможности, в реалтайме уезжали для анализа

🦠

Clickhouse?)

Etki

што

Andrei

Причем тут он? Как хранилище?

Andrei

Нет, он есть для метрик одного из проектов. Для логов - ELK

Andrey

Вот тут как раз обсуждается, что нужны локальные логи, даже если включено логирование на удаленные сервера. Наставьте там лайков, т.к тема актуальная. https://github.com/docker/docker/issues/17910

Cin

docker attach --no-stdin и смотрите локально, даже при выводе в gelf

Slach

а подскажите пожалуйста за docker-compose и volumes именованные есть patroni-compose.yml version: '2' services: patroni.base: build: ./patroni image: mgsn-patroni # !!! это volume ОБЩИЙ для всех контейнеров или для каждого контейнера будет создан свой??? volumes: - patrony_data_volume:/opt/patroni есть docker-compose.yml version: '2' services: database1: extends: file: patroni-compose.yml service: patroni.base database2: extends: file: patroni-compose.yml service: patroni.base для каждого service отдельный будет сделан volume или надо прописывать каждый раз "отдельно"?

Simak

по идее к одному и тому же будут подключены

Etki

вы реплицируете базу на том же хосте?

Alexandr

а подскажите пожалуйста за docker-compose и volumes именованные есть patroni-compose.yml version: '2' services: patroni.base: build: ./patroni image: mgsn-patroni # !!! это volume ОБЩИЙ для всех контейнеров или для каждого контейнера будет создан свой??? volumes: - patrony_data_volume:/opt/patroni есть docker-compose.yml version: '2' services: database1: extends: file: patroni-compose.yml service: patroni.base database2: extends: file: patroni-compose.yml service: patroni.base для каждого service отдельный будет сделан volume или надо прописывать каждый раз "отдельно"?

version: "3" services: db: image: db volumes: - data-volume:/var/lib/db backup: image: backup-service volumes: - data-volume:/var/lib/backup/data volumes: data-volume:

Alexandr

https://docs.docker.com/compose/compose-file/#specifying-durations

Alexandr

volumes_from Mount all of the volumes from another service or container, optionally specifying read-only access (ro) or read-write (rw). If no access level is specified, then read-write will be used. volumes_from: - service_name - service_name:ro - container:container_name - container:container_name:rw

Timur

#whois ▫️Какой у вас проект или где работаете? В A1Systems, на внутренних разработках. ▫️В чём вы специалист? В тестировании ▫️Чем можете быть интересны или полезны сообществу? Там посмотрим ▫️Чем интересно сообщество вам? С недавних пор тестируемую мной систему начали запихивать в докер, и теперь интересно чем его едят. ▫️Откуда вы? Москва, Россия ▫️Как узнали про группу? В группе qa_ru увидел

Misha Kulakovsky

volumes_from Mount all of the volumes from another service or container, optionally specifying read-only access (ro) or read-write (rw). If no access level is specified, then read-write will be used. volumes_from: - service_name - service_name:ro - container:container_name - container:container_name:rw

volumes_from депрекейтед, лучше отдельно вольюмы объявлять

Alexandr

volumes_from депрекейтед, лучше отдельно вольюмы объявлять

v2 устаревший?

Etki

лучше их вообще не объявлять

Misha Kulakovsky

v2 устаревший?

конечно, ведь уже v3

Alexandr

конечно, ведь уже v3

ну у чувака судя по конфигам 2 версия

Alexandr

так что для него актуально может быть

Timur

Прошу подсказки. На работе мой проект будет поставляться в docker-контейнерах, и захотелось мне это руками посмотреть. Среди прочего, в коротком мануале, который мне был дан от разработчика, было сказано установить docker-compose. Когда я попровал установить, было примерно следующее: tiskhakov@Iskhakov:~/Docker/docker$ sudo aptitude install docker-compose ... Следующие пакеты имеют неудовлетворённые зависимости: docker-ce : Конфликтует: docker.io но будет установлен 1.12.6-0ubuntu1~16.04.1. Кто-нибудь пожалуйста подскажите что такое docker.io и зачем он нужен. В официальном мануале про этот пакет ничего не нашел. Пока не нашел, по крайней мере. И что будет, если оставлю docker.io не установленным?

Etki

это и есть docker-engine предыдущих названий, лучше поставить руками

Etki

как и compose

Etki

иначе будут версии двухлетней давности

Misha Kulakovsky

ставь через curl https://get.docker.com/ | bash иначе будет древняя версия

Timur

Понял, спасибо.

Timur

А есть рекомендации по установке docker-compose? скрипт с get.docker.com отработал без ошибок, и tiskhakov@Iskhakov:~/Docker/docker$ dpkg -l | grep docker rc docker-ce 17.03.1~ce-0~ubuntu-xenial amd64 Docker: the open-source application container engine ii docker-engine 17.04.0~ce-0~ubuntu-xenial amd64 Docker: the open-source application container engine https://docs.docker.com/compose/install/ - актуальна?

Etki

да

Timur

спасибо

Alexander

Всем привет. #whois ▫️Какой у вас проект или где работаете? Бывший сотрудник Voxlink, успел поработать над некоторыми проектами в ммвб, рольф, м2м... На данный момент пытаемся поднять собственный стартап. ▫️В чём вы специалист? В разработе высокопроизводительных программных продуктов ▫️Чем можете быть интересны или полезны сообществу? Время покажет - может быть помогу кому ценным советом ▫️Чем интересно сообщество вам? Обмен опытом всегда интересен ▫️Откуда вы? Краснодар, Россия ▫️Как узнали про группу? В группе devops_ru увидел

Anton

Всем привет. #whois ▫️Какой у вас проект или где работаете? Бывший сотрудник Voxlink, успел поработать над некоторыми проектами в ммвб, рольф, м2м... На данный момент пытаемся поднять собственный стартап. ▫️В чём вы специалист? В разработе высокопроизводительных программных продуктов ▫️Чем можете быть интересны или полезны сообществу? Время покажет - может быть помогу кому ценным советом ▫️Чем интересно сообщество вам? Обмен опытом всегда интересен ▫️Откуда вы? Краснодар, Россия ▫️Как узнали про группу? В группе devops_ru увидел

Что за стартап если не секред

Alexander

делаем простенькие игры про спорт с реальными призами от спонсоров

roquie

Ух ты, а с м2м что было? Сейчас как раз с ним играюсь.

Alexander

а тут уже NDA

Alexander

если в общих чертах - анализ данных

roquie

С одним опсосом?)

roquie

Впрочем ладно, nda, так nda

Роман

#whois Всем привет! ▫️Какой у вас проект или где работаете? Работаю сисадмином в небольшой компании, которая разрабатывает сайт онлайн-казино. ▫️В чём вы специалист? Специалистом меня пока назвать сложно, но имею некоторые познания в nginx, gentoo... ▫️Чем можете быть интересны или полезны сообществу? Надеюсь, что смогу помочь кому-нибудь советом. ▫️Чем интересно сообщество вам? Как раз начинаю использовать докер в своих проектах. ▫️Откуда вы? Екатеринбург ▫️Как узнали про группу? Из группы @devops_ru