ну если ты с сетями и оборудованием на ты - то сразу gns. пакет трейсер для обучения азам обычно

ну вообще, я автоматизатор, но на новом месте надо с сетями работать, вот сижу, вникаю, страдаю

Товарищи, подскажите кто юзает EFK ? Как правильно приготовить Fluentd, так что бы он без тормозов слал логи в Elasticsearch? У меня просто жутко запаздывается отображения логов в Kibana. Есть подозрение что это fluentd тупит

проблема только в тормозах?

или прорблема в том что докер логи на флюент коряво идут

какая инфа по мониторингу? память\кэш\своп\iowait

ну вообще, я автоматизатор, но на новом месте надо с сетями работать, вот сижу, вникаю, страдаю

чтобы не мучаться в какую сторону копать, сходи в нетворк к сетевым инженерам https://t.me/ntwrk

проблема только в тормозах?

Я использую flentd-bit для для сбора логов. Они все агригирую в головном fluentd и с помощью плагина для elasticsearch они пересылаются в эластик. На ноде расположен flentd и elasticsearch 2 cpu 8GB ОЗУ iowait показатели оптимальные

или прорблема в том что докер логи на флюент коряво идут

Причем на fluentd они приходят нормально, это видно в логах, но вот дальше происходит проблема. После рестарта td-agent вроде все приходит в норму, но ненадолго

Причем на fluentd они приходят нормально, это видно в логах, но вот дальше происходит проблема. После рестарта td-agent вроде все приходит в норму, но ненадолго

грепы регулярками есть?

там фильтры типа grok

грепы регулярками есть?

Нет, этот плагин я не ставил. Могу скинут свой конфиг td-agent.conf. Там все просто

просто любой elasticsearch стек это цепочка

если с флюента идут ок, значит или на биты плохо идет или биты отдают плохо

если дополнительных фильтров нет, то какого размера логи собираем?

ну обьем данных там не знаю в период времени

ну и htop глянь сколько биты жрут по цпу

Hello again! Насколько плохая идея держать два сервера в разных ДЦ (пинг 2мс), при этом на одном PG Master, на другом PG Slave, на каждом стоит HAProxy который балансирует нагрузку, которая приходит через DNS RR? Короче, проблема в том, что слейв-сервер запросы на запись все равно отправляет на мастер и иногда это ооочень долго, т.к. видимо проблемы с сетью. Вопрос - это хостер такой или между ДЦ в теории не может быть нормальной сети, чтобы держать два сервера Master-Slave, которые так же обрабатывают запросы?

Hello again! Насколько плохая идея держать два сервера в разных ДЦ (пинг 2мс), при этом на одном PG Master, на другом PG Slave, на каждом стоит HAProxy который балансирует нагрузку, которая приходит через DNS RR? Короче, проблема в том, что слейв-сервер запросы на запись все равно отправляет на мастер и иногда это ооочень долго, т.к. видимо проблемы с сетью. Вопрос - это хостер такой или между ДЦ в теории не может быть нормальной сети, чтобы держать два сервера Master-Slave, которые так же обрабатывают запросы?

Если гонять запросы по сети между ДЦ которой управляешь не ты, где ты не можешь поставить qos, приоритет, гарантированную полосу или как-то иначе обеспечить себе минимальные задержки - так будет всегда. Обычно если нужна гарантированная задержка берут какой-то из видов выделенных l2/l3 каналов, где провайдер подписывается под sla и известно что он его выполняет. Либо там оптику строят/арендуют) Иначе ты не знаешь что происходит в транзите, на него нельзя расчитывать, только мириться с ним. Можно эпмирически перебирать хостеров, но со всеми рано или поздно будут проблемы

ну обьем данных там не знаю в период времени

Примерно 4.000 событий в секунду идет сейчас. Биты нормально работают, они в k8s. Тут явно установил что fluntd с задержкой пересылает логи. После его ребута все приходит в норму на время

Если гонять запросы по сети между ДЦ которой управляешь не ты, где ты не можешь поставить qos, приоритет, гарантированную полосу или как-то иначе обеспечить себе минимальные задержки - так будет всегда. Обычно если нужна гарантированная задержка берут какой-то из видов выделенных l2/l3 каналов, где провайдер подписывается под sla и известно что он его выполняет. Либо там оптику строят/арендуют) Иначе ты не знаешь что происходит в транзите, на него нельзя расчитывать, только мириться с ним. Можно эпмирически перебирать хостеров, но со всеми рано или поздно будут проблемы

Спасибо, просто когда я сидел в одном хостере, он просто упал на 4 часа и мы просто ждали, т.к. бекапы в облако всего 3 раза в день, не хотелось терять данные. В итогде пришли к варианту с двумя разными ДЦ и наткнулись на такие грабли. Значит третий вариант будет держать live в одном ДЦ, во второй ДЦ деражать холодную реплику и в случае падения первого ДЦ быстро ручками перевести трафик на второй ДЦ.

Примерно 4.000 событий в секунду идет сейчас. Биты нормально работают, они в k8s. Тут явно установил что fluntd с задержкой пересылает логи. После его ребута все приходит в норму на время

а логи че говорят за промежутки с долгой отправкой

Спасибо, просто когда я сидел в одном хостере, он просто упал на 4 часа и мы просто ждали, т.к. бекапы в облако всего 3 раза в день, не хотелось терять данные. В итогде пришли к варианту с двумя разными ДЦ и наткнулись на такие грабли. Значит третий вариант будет держать live в одном ДЦ, во второй ДЦ деражать холодную реплику и в случае падения первого ДЦ быстро ручками перевести трафик на второй ДЦ.

ээээээ, сдох на 4 часа просто так это даже не уровень дна, это когда снизу стучат. Хецнер - дешевый из дешевейших у меня последний раз падал от силы на полчаса.

ээээээ, сдох на 4 часа просто так это даже не уровень дна, это когда снизу стучат. Хецнер - дешевый из дешевейших у меня последний раз падал от силы на полчаса.

Это FirstVDS был

Это FirstVDS был

а, понятно

Спасибо, просто когда я сидел в одном хостере, он просто упал на 4 часа и мы просто ждали, т.к. бекапы в облако всего 3 раза в день, не хотелось терять данные. В итогде пришли к варианту с двумя разными ДЦ и наткнулись на такие грабли. Значит третий вариант будет держать live в одном ДЦ, во второй ДЦ деражать холодную реплику и в случае падения первого ДЦ быстро ручками перевести трафик на второй ДЦ.

Насчет варианта - он нормальный, если у вас короткий ttl в днс, и вы точно знаете как вы будете поднимать обратно дц который упал с точки зрения кластера/мастера, pg же будет себя считать в обоих дц мастером. И полезет это доказывать соседней реплике

а логи че говорят за промежутки с долгой отправкой

Извиняюсь за глупый вопрос, но где посмотреть эту информацию? в файле td-agent.log ничего нет

Насчет варианта - он нормальный, если у вас короткий ttl в днс, и вы точно знаете как вы будете поднимать обратно дц который упал с точки зрения кластера/мастера, pg же будет себя считать в обоих дц мастером. И полезет это доказывать соседней реплике

Если падает основной ДЦ, выпиливаем его из DNS, идем на холодную реплику, делаем ее мастером и стартуем приложение. Можно попрбовать заюзать Health Check в Route53 чтобы автоматом переключать DNS в резервный ДЦ. В общем вариантов много, и все они лучше того, чтобы разворачивать приложение с нуля когда пришел ппц и восстанавливаться из бекапа 8-часовой давности ?

Как вариант держать в DNS записи обоих ДЦ, запросы принимать на HAProxy, если с первым ДЦ все ок то пересылать все туда (но тут получаем проблемы при проксировании запроса из резервного ДЦ в основной при плохой сети, хотя они должны быть менее заметны, чем пересылка запросов к базе).

Господа доброго времени суток, есть у кого чатик по nginx?

https://t.me/nginx_ru

https://t.me/nginx_ru

благодарю

Это FirstVDS был

Это жи просто реселлер который русскую бухгалтерию смог. Разве у них свои дц есть?

а логи че говорят за промежутки с долгой отправкой

flush_interval 5s поставил и вроде все окай

flush_interval 5s поставил и вроде все окай

а стояли полминуты?

а стояли полминуты?

1 s

О.о

да ты псих))

ты прикинь он 4к пытался каждую секунду давить

он еще старое отдать не успел ты его новым нагрузил "на еще 4к, а это потоооом отправишь"

кто-то сталкивался с проблемой, что не контейнер Dockerr нельзя ни потушить, ни удалить? только после перезагрузки

кто-то сталкивался с проблемой, что не контейнер Dockerr нельзя ни потушить, ни удалить? только после перезагрузки

что в докере и где сам докер?

postgres локально

ubuntu

он у тебя в композе может restart: always держит?

Место есть?

он у тебя в композе может restart: always держит?

да

да

ну так в этом и причина

ты его убиваешь он не убивается

а почему тогда rabbitMQ для которого тоже restart: always убивается ?

Как ты убиваешь?

да ты псих))

Да затупил) Делал по мануалам флуента и поэтому выставил)

Как ты убиваешь?

docker stop $(docker ps -aq) docker rm $(docker ps -aq)

docker rm -f $(docker ps -aq)

docker stop $(docker ps -aq) docker rm $(docker ps -aq)

Ты если композом запускаешь, то им и останавливай

А так да, resrart: always делает своё дело

А так да, resrart: always делает своё дело

а вариантов принудительно потушить нет?

без перезагрузки машины

Restart: unless-stopped Как-то так, смотри доку

а вариантов принудительно потушить нет?

Я же говорю, через композ docker-compose stop pg

уже два человека сделали какую то фигню от которой сами пострадали:)

похоже на то, спасибо. осталось научиться писать на руби)

оно их говна и палок, пройди туториалы https://www.ruby-lang.org/ru/documentation/quickstart https://www.tutorialspoint.com/ruby/ https://www.codecademy.com/learn/learn-ruby

короче апи не катит.. я выпилил метод апдейта ишью и они всеравно работают) получается запросы с вебморды не дергают апи

короче апи не катит.. я выпилил метод апдейта ишью и они всеравно работают) получается запросы с вебморды не дергают апи

Дёргают

Ты гитлаб не перезагрузил

Сядь wireshark-ом глянь

перезапускал

gitlab-ctl restart

Интересно, сколько тут народу github юзают а не gitlab

Интересно, сколько тут народу github юзают а не gitlab

опенсурс?

опенсурс?

Не понял вопрос

Юзают для чего? приватные репы или публичные?

Интересно в целом конечно. Но и контекст тут у нас devops

хз какой контекст у VCS

день добрый. я немного в смятении. на сайте пачечка вхостов, которые должны отдаваться только по хттпс. все вхосты имеют вид *.example.com, т.е. сидят на одном домене

я сделал вхост с записью типа: server { listen 80; server_name *.example.com; return 301 https://$host$request_uri; } и сохранил под 00-catchall.conf, хост включен

игнорирует и не редиректит

в логах че

а в прочем неважно, просто дефолт надо выключать

но вообще я чот был уверен, что нжинх парсит конфиги в алфавитном порядке

и что 00 должен был сработать раньше, чем default

но вообще я чот был уверен, что нжинх парсит конфиги в алфавитном порядке

потому что у него в default стоит директива listen 80 default_server она и отработала

TIL что в линуксе нихера не последовательно

http://www.opennet.ru/opennews/art.shtml?num=49414

Hello again! Насколько плохая идея держать два сервера в разных ДЦ (пинг 2мс), при этом на одном PG Master, на другом PG Slave, на каждом стоит HAProxy который балансирует нагрузку, которая приходит через DNS RR? Короче, проблема в том, что слейв-сервер запросы на запись все равно отправляет на мастер и иногда это ооочень долго, т.к. видимо проблемы с сетью. Вопрос - это хостер такой или между ДЦ в теории не может быть нормальной сети, чтобы держать два сервера Master-Slave, которые так же обрабатывают запросы?

дерьмовая идея балансить через dns rr. только если все участники под вашим контролем

Спасибо, просто когда я сидел в одном хостере, он просто упал на 4 часа и мы просто ждали, т.к. бекапы в облако всего 3 раза в день, не хотелось терять данные. В итогде пришли к варианту с двумя разными ДЦ и наткнулись на такие грабли. Значит третий вариант будет держать live в одном ДЦ, во второй ДЦ деражать холодную реплику и в случае падения первого ДЦ быстро ручками перевести трафик на второй ДЦ.

Зачем так сложно? Amazon route 53 + health-check он сам все переключит.

Всем привет, поднял кубернетис кластер через кубспрей на 3 мастера(2 железки и одна ВМ). Последняя падает в состояние notReady. Кто подскажет с чего начать дебажить?

Всем привет.

Всем привет, поднял кубернетис кластер через кубспрей на 3 мастера(2 железки и одна ВМ). Последняя падает в состояние notReady. Кто подскажет с чего начать дебажить?

с пинга между нодами?)

дескрайбни ноду там написано все

Парни кто нибудь юзает docker swarm? Появилась задача на нескольких нодах закрепить только определенные сервисы. Подскажите, может кто знает, как это делается.