а при помощи чего встроили проверки такого рода

Сонар и птай

+1. а вот с своего опыта общения с людьми из разных компаний - не создается впечатление что такая потребность - за кадром?

Я бы сказал недопонимание зачем это нужно

Сонар и птай

а сонар могёт в иб?

а сонар могёт в иб?

Да, он чекает код на баги, но конечную уязвимость чекает птаи кажись

Да, он чекает код на баги, но конечную уязвимость чекает птаи кажись

+

Я бы сказал недопонимание зачем это нужно

ну или так. по сути проблема остается за кадром. что вполне ожидаемо. Все же это было ранее в обязаностях админа. А при движении в devops, когда нагрузка на создание окружения ложится на програмистов, это выходит за границы фокуса. Впрочем если быть обьективным до конца, то и не каждый админ озабочивается далее чем регулярный yum update

Да, он чекает код на баги, но конечную уязвимость чекает птаи кажись

а разрабов то самих обучает ИБ правилам контора?

или все на админе?

а разрабов то самих обучает ИБ правилам контора?

У вас 1 баг, а не 0 по сонару? У вас выходные на исправление, удачи

Как-то так)))с птаем аналогично, но это решение нач.депа, я только за

ну прост проблема в источнике

ну прост проблема в источнике

В плане?

они опять говнякают, может как то люди пресекают это

как то на разрабов воздействуете чтобы говнякали секурно?

Привет ops'ам. Скажите ктото очень плотно занимается amazonи его инструментами?

или пускай тимлид разрабов линейкой по рукам бьет за обход ИБ подходов?

Изза того что нет-нет да и амазоновские ip попадают в ркн Они мне выделили пул приватных-реальных ip, которые не попадут туда.

А цель навесить реальник, и разобрать трафик

NLB - неумеет в ssl ALB - неумеет в реальники

или пускай тимлид разрабов линейкой по рукам бьет за обход ИБ подходов?

я больше говорил не про говнокод. тут больше речь о зависимостях внешних, которые содержат в себе известные уязвимости.

вот пример. вышла CVE-2018-1999011. Должно проверить что ffmpeg на сборках используется не подверженный этой уязвимости. и если нет, то не пропускать билд

ну и соответственно при первом же обновлении в prod должно стоять уже ffmpeg нужной версии. соответственно должны быть обкатаны механизмы обновления прода в контесте CVE и CI/CD

NLB - неумеет в ssl ALB - неумеет в реальники

использовать оба

где то была дока по такому решению

https://aws.amazon.com/ru/blogs/networking-and-content-delivery/using-static-ip-addresses-for-application-load-balancers/

вот собственно

но сам не подымал

вот пример. вышла CVE-2018-1999011. Должно проверить что ffmpeg на сборках используется не подверженный этой уязвимости. и если нет, то не пропускать билд

Clair

https://github.com/zalando/patroni/blob/master/extras/confd/templates/haproxy.tmpl#L26-L32 Этот конфиг hapoxy странно записан и не работает, можете помочь?

Вот тут можно почитать перед сном: https://github.com/zalando/patroni/tree/master/extras

Вот тут можно почитать перед сном: https://github.com/zalando/patroni/tree/master/extras

Спасибо. Жаль один фиг он не может направлять селекты в базу на реплики, как пгпул.

Спасибо. Жаль один фиг он не может направлять селекты в базу на реплики, как пгпул.

pgbouncer может вроде

Там уже и так etcd, haproxy, patroni, corosync, ещё баунсер прикручивать. ? Почитаю ещё. Спасибо.

Там уже и так etcd, haproxy, patroni, corosync, ещё баунсер прикручивать. ? Почитаю ещё. Спасибо.

Слушай, мне самому стало интересно, навскидку просмотрел - вроде нет такой функции. Извини, ввёл тебя в заблуждение.

Там уже и так etcd, haproxy, patroni, corosync, ещё баунсер прикручивать. ? Почитаю ещё. Спасибо.

Коросинка нет же.

Коросинка нет же.

На кластере у меня есть, для виртуального ip, который мигрирует между серверами. Там то нет, в библиотеке)))

Имел ввиду, на кластере и так уже многовато кластерных сервисов, ещё один прикручивать не канает. Один мелкий сбой и задолбаешься восстанавливать кластер ?

Имел ввиду, на кластере и так уже многовато кластерных сервисов, ещё один прикручивать не канает. Один мелкий сбой и задолбаешься восстанавливать кластер ?

Ну ок. Но там же хапрокси хапроксит реквесты, так ли нужен коросинк и vip? Кстати, а в чём проблема с конфигом-то была?

Имел ввиду, на кластере и так уже многовато кластерных сервисов, ещё один прикручивать не канает. Один мелкий сбой и задолбаешься восстанавливать кластер ?

я так понял в сторону автоматизации развертывания ноды кластера еще руки не дошли ?

Ну ок. Но там же хапрокси хапроксит реквесты, так ли нужен коросинк и vip? Кстати, а в чём проблема с конфигом-то была?

Хапрокси да, перенаправляет реквесты, а на хапрокси как реквест попадет? Сам хапрокси имеет виртуальный ip. На каждом сервер стоит хапрокси и только на мастер направляет запросы. Насчёт конфига я не понял, как confd генерит конфиг исходя из шаблона, который там предоставлен.

Как я понял, генератор кофига хапрокси просто парсит данные через апи patroni, определяет истинные слейвы pgsql и на них проксирует запросы только для чтения. Жаль что приходится "учить" этому само приложение. Что есть адрес рид онли.

Как я понял, генератор кофига хапрокси просто парсит данные через апи patroni, определяет истинные слейвы pgsql и на них проксирует запросы только для чтения. Жаль что приходится "учить" этому само приложение. Что есть адрес рид онли.

Он ходит в etcd (или там куда), в range gets /members получает все значения из "директории" members в etcd, каждое значение разбирает и собирает из него строчку конфига.

Он ходит в etcd (или там куда), в range gets /members получает все значения из "директории" members в etcd, каждое значение разбирает и собирает из него строчку конфига.

Да я то смог распарить глазами код, только не разобрался как confd работает. Позже почитаю про него тоже, спасибо. Думаю может pgpool попробовать тоже, там написано, что он селекты может перенаправлять на слейвы.

Короче заказчикам мало юзать сервы для отказоустойчивости, ещё нужно эти же серверы в балансировке запросов к бд использовать

При чем так, что сам мидлвар должен направлять запрос, в зависимости от того селект это или инсерт в базу. ?

При чем так, что сам мидлвар должен направлять запрос, в зависимости от того селект это или инсерт в базу. ?

В переводе на русский - "не хотим менять наш говнокод, пусть о HA позаботится кто-то другой"

Короче заказчикам мало юзать сервы для отказоустойчивости, ещё нужно эти же серверы в балансировке запросов к бд использовать

Синхронная репликация же нужна будет, а это больше двух нод. Хотя там патрони как-то это разруливал хитро.

В переводе на русский - "не хотим менять наш говнокод, пусть о HA позаботится кто-то другой"

В том и дело. Я им сказал, что они могут поговорить с разрабами самого приложения и те могут прописать адрес селектов в бд, с которого можно только считывать информацию, но нет, должен стоять мидлвар, который будет видеть селекты и направлять куда нужно.

Синхронная репликация же нужна будет, а это больше двух нод. Хотя там патрони как-то это разруливал хитро.

Синх? Не, это не сам патронирует разруливал, а сам pgsql. Да она и медленней гораздо.

Даже если пинги и скорость бешеная до сервака, хоть они в одной машине находятся, все равно задержка обработки в базе сильно отличается, особенно если это тяжвесный проект. Даже если стоит режим "ждать ответ от одной любой из реплик".

В том и дело. Я им сказал, что они могут поговорить с разрабами самого приложения и те могут прописать адрес селектов в бд, с которого можно только считывать информацию, но нет, должен стоять мидлвар, который будет видеть селекты и направлять куда нужно.

А как насчёт генерить конфиг для pgpool с помощью confd? И хапрокси не надо, и випа, и коросинка.

В том и дело. Я им сказал, что они могут поговорить с разрабами самого приложения и те могут прописать адрес селектов в бд, с которого можно только считывать информацию, но нет, должен стоять мидлвар, который будет видеть селекты и направлять куда нужно.

....возможно, потому, что за приложение деньги уже отданы, и никто ничего с той стороны делать не будет.

А как насчёт генерить конфиг для pgpool с помощью confd? И хапрокси не надо, и випа, и коросинка.

Я с pgpool пока не сталкивался. По ходу дела попробую поднять.

Синх? Не, это не сам патронирует разруливал, а сам pgsql. Да она и медленней гораздо.

Ну дык тогда возможна неконсистентность, когда на мастере запись прошла, на реплику ещё не доехала, а тут на эту реплику селект приходит.

Ну дык тогда возможна неконсистентность, когда на мастере запись прошла, на реплику ещё не доехала, а тут на эту реплику селект приходит.

Ага )

Сегодня еще база не поняла, что на ее мастере обновили 8 гигабайт информации ???

Как так вобще получается, я фигею просто.

Грешновато.

Не, там дофига конечно тонкостей, типа wal файлов, стрим репликации, но ёлки палки, заказчик проверял кластер, выключил одну ноду, тупо затер базу на оставшихся нодах, одна из них уже заняла место мастера, затем, записал огромную базу в эти включенные сервы. После всех этих операций включили самый первый сервак, который потерял мастерство)) и чё? Он просто стоял и даже не понимал что изменилось 8 мать их гигов инфы в бд. Это жопа полная была

Ну я ему объяснил что редко бывает такое, что у тебя вся база затирается на мастере, перезаписывается и включается старый мастер, который вообще нихера не понял, что произошло.

Ну вот и зачем такое на ночь рассказывать? (:

Да потому что жопа, что в мускуле с этим ндб кластером есть косяки, что в этом посгре тоже свои заморочки. Человеческий фактор. Ошибки везде есть, а вот заказчику тяжело объяснить.

А как насчёт генерить конфиг для pgpool с помощью confd? И хапрокси не надо, и випа, и коросинка.

СТОП ОТМЕНА

Я имел в виду конфиг для pg_bouncer!

Pg_pool не нужен.

Pg_pool не нужен.

Никита ненужен

Никита ненужен

Ещё как нужен!

Господа, а есть кто-то, кто может подсказать - где поискать - как docker-compose определяет уникальность конейнера чтобы его пересоздать ? Я хочу из одного docker-compose при помощи env-переменных создавать разные окружения (dev и staging), задаю им container_name и image, зависящие от этой переменной, но после docker-compose up -d - контейнер из другого env убивается. Хочу понять почему так - всё разное же. Или дело в том, что docker-compose не изменился ?

-p

Народ просветите. Стоит заббикс 3.0 сервер. Хочу мониторить jvm, которое поднято как микросервис в кубернетис. Что мне нужно для проксирования до jvm? Zabbix-proxy?читал нужен Java gateway. Но не пойму нужно ли его с прокси скрещивать или он уже туда встроен?

Народ просветите. Стоит заббикс 3.0 сервер. Хочу мониторить jvm, которое поднято как микросервис в кубернетис. Что мне нужно для проксирования до jvm? Zabbix-proxy?читал нужен Java gateway. Но не пойму нужно ли его с прокси скрещивать или он уже туда встроен?

jvm свои метрики как отдаёт?

jvm свои метрики как отдаёт?

На порту слушает

-p

это кому ответ был ?

На порту слушает

Тогда в чем проблема?

Тогда в чем проблема?

Как спроксиповать внешний заббикс до jvm которая в контейнере в кубернетис. Я не шибко с заббикс знаком. Вычитал что есть jmx Java gateway но не понял как его поднять. Или он просто как часть заббикс прокси.

-p

Спасибо огромное!

Как спроксиповать внешний заббикс до jvm которая в контейнере в кубернетис. Я не шибко с заббикс знаком. Вычитал что есть jmx Java gateway но не понял как его поднять. Или он просто как часть заббикс прокси.

Заббикс прокси - это для кеширования метрик. Тут пишут, что надо поднять рядом с Заббикс-сервером Zabbix Java Gateway и сконфигурить его: https://www.zabbix.com/documentation/3.0/ru/manual/config/items/itemtypes/jmx_monitoring

Запущенный в кубернетесе под можно разными способами опубликовать, это делается через сервисы.

Запущенный в кубернетесе под можно разными способами опубликовать, это делается через сервисы.

Я думал jmx Java gateway = zabbix-proxy. Просто поднял последний как микросервис рядом с jvm application

Я думал jmx Java gateway = zabbix-proxy. Просто поднял последний как микросервис рядом с jvm application

Ну вот по ссылке из предыдущего камента разъяснено, как это работает.

Как опубликовать сервис в кубернетесе есть тут: https://kubernetes.io/docs/tasks/access-application-cluster/service-access-application-cluster/

NodePort перенаправляет трафик, пришедший на один из портов на любой из твоих кубернетес-нод, на порт твоего пода.

Но вообще, для мониторинга всего-всего в кубернетесе проще и приятнее использовать Prometheus, с ним стоит ознакомиться.

Это я настроил. Получается мне в сервисе приложения нужно настраивать jvm порт на котором оно слушает?

Но вообще, для мониторинга всего-всего в кубернетесе проще и приятнее использовать Prometheus, с ним стоит ознакомиться.

Пока не смотрел. Т.к везде заббикс. А он как микросервис устанавливается внутрь кубернетис или где то на стороне поднят? Как лучше его задействовать?

Пока не смотрел. Т.к везде заббикс. А он как микросервис устанавливается внутрь кубернетис или где то на стороне поднят? Как лучше его задействовать?

Вообще, вам в @metrics_ru

Пока не смотрел. Т.к везде заббикс. А он как микросервис устанавливается внутрь кубернетис или где то на стороне поднят? Как лучше его задействовать?

Там вариантов много. Есть хорошая книжка - Prometheus Up and Running.

Это я настроил. Получается мне в сервисе приложения нужно настраивать jvm порт на котором оно слушает?

Yep.

Ну и да, там вот сообщество хорошее, правда, про Заббикс лучше не упоминать)