
Alexander
17.09.2018
07:46:38
Привет, коллеги! Не знаю, по адресу ли я, но:
Сейчас у нас мастер PostgreSQL 10 и два слейва (настройки стандартные), на слейвах стоит PgPool, который отправляет запросы на чтение на локальную Hot-Standby реплику, а запросы на запись – на мастер.
Есть две проблемы:
1. Иногда реплика отваливается, PgPool переходит в статус down для мастер ноды и помогает только перезапуск. Иначе слейв становится Read-Only.
2. Во время роста нагрузки запросы зависают. Возможно, связано с кратковременными проблемами с сетью. Но так быть не должно, как только с сетью все норм - все должно само оживать и работать дальше.
Куда копать, кто подскажет? Что покрутить?
а пг10 уже советуют в прод пускать?
можно попробовать ребят из pgpro потеребить


Denis
17.09.2018
07:47:52
в логах что? первым делом надо туда смотреть
Пусто, попробую сейчас макс уроень дебага включить, посмотреть еще. Просто ситуация воспроизводится в проде, потом приходится быстро из балансировки выкидывать сервер.
Думаю сейчас искустенно нагрузку попробовать дать, может снова получится воспроизвести с дебаг-уровнем логов.

Google

Alexander
17.09.2018
07:48:36

Чеширский
17.09.2018
07:49:01
У нас везде стоит 10
Все довольны

Alexander
17.09.2018
07:49:07
я как в све время с виндой... пока sp1 не выпустят - лучше не юзать))

Denis
17.09.2018
07:49:21
У нас прод такой, всего 300 юзеров онлайн и мильены за минуту простоя не теряем, поэтому рискнули быть на острие технологий :)))

Чеширский
17.09.2018
07:49:34
Так там уже 4 минора вышло.)))

Mihail
17.09.2018
09:25:33
всем привет!
поделитесь опытом, кто как ставит kubernetes в AWS?
читаю документацию сейчас, и не могу выбрать чему следовать.
работает ли Route53 + vpc dhcp с кубернетесом, или нужна статика и править хостс файл на всех нодах?
в каких случаях имеет смысл ставить дополнительно Ceph ?
используете ли kops?
спасибо заранее за любой ответ!

Sergey
17.09.2018
09:26:55
PS. *kubedns RIP after 1.11*

Mihail
17.09.2018
09:28:49
это для подов, правильно?
сами хосты (ноды кластера), он же не сможет менеджить?

Sergey
17.09.2018
09:34:59
куб это прослойка над нодами, и рулит он всем что внутри него
сами виртуалки нет, это не его дело
хосты это или в ансибл или в терраформ

Google

Mihail
17.09.2018
09:38:45
да, но у него есть определенные требования для собственно виртуалок. и меня удивило требование в некоторых мануалах выставлять static ip вместо dhcp и править hosts файл вместо нормального DNS
что хочу менеджить - хочу aws auto-scaling group, и соответсвенно максимально надежный способ добавления\удаления нод из кластера

Sergey
17.09.2018
09:40:18

Mihail
17.09.2018
09:41:24
к сожалению в моей зоне EKS еще нет :(
жду пока доберется до eu-central-1

Sergey
17.09.2018
09:41:40
в декабре европа подтянется

Mihail
17.09.2018
09:43:19
если не получится завести в Франкфурте - будем ехать в Ирландию,
Франкфурт выбирали в результате тестов, аргументировать переезд в Ирландию сложно будет
за дату спасибо, не знал на счет декабря!
попробую kops тогда

Sergey
17.09.2018
09:46:54

Mihail
17.09.2018
09:48:15
спасибо!
слежу за новостями, да

J
17.09.2018
10:22:07
а никто не сталкивался с распуханием overlayfs на убунте?

Roman
17.09.2018
11:11:51
а тестил кто https://github.com/dm-vdo/vdo
?
https://github.com/markfasheh/duperemove

Цинь
17.09.2018
12:01:08
Это баг телеги. Бывает

kiltum
17.09.2018
12:03:50
Это не баг телеги. Это копипаст

Lonli
17.09.2018
12:38:34
11 фото - не густо

Artem
17.09.2018
13:34:01
Ребят, всем привет. Такая проблема: 2 дня назад сайт нормально работал, отвечал на запросы, без задержек выдавал ответы. Сейчас он через раз отвечает. Один раз ответ приходит, а второй раз ждёт около 60с. а потом connection timeout. Подскажите плиз какими методами пробить что тормозит сервак? Заранее спасибо.

Sergey
17.09.2018
13:35:30

Эдуард
17.09.2018
13:36:03

Oleg
17.09.2018
13:39:57
Ребята, скажите кто где ведет документацию?!

Google

Stanislav
17.09.2018
13:40:14

Sergey
17.09.2018
13:41:09
ниче не понятно

Эдуард
17.09.2018
13:41:47

Artem
17.09.2018
13:41:49
@vizdrag Nginx + PHP-FPM. Тормозит и фронт и бэк.

Sergey
17.09.2018
13:42:12
а что по ресам?
сколько фпм жрет?

Evgenii
17.09.2018
13:42:40
у php-fpm включи slow logs

Artem
17.09.2018
13:42:59
щас я скину скрин htop
но вроде все нормально
проц вообще не жрёт
памяти ещё есть
щас посмотрю slow logs
А хотя причём тут slow logs если даже обычную страницу без php-fpm тоже долго грузит
похоже с nginx что-то

Sergey
17.09.2018
13:44:41

Andrew
17.09.2018
13:45:16
Оп а в логах ничего

artb1sh
17.09.2018
13:45:24
По 500сотым ошибкам

Google

Sergey
17.09.2018
13:45:51
Тебе cpu не хватает

Sergey
17.09.2018
13:46:06
По 500сотым ошибкам
и толку они дадут
проект это большая цельная хрень из многих сущностей
надо смотреть все

artb1sh
17.09.2018
13:46:12
Кеш впиши для статики

Andrew
17.09.2018
13:46:15
Я частенько сталкивался с ботами
Банишь в нджинкс и красота
Вообще конечно надо статистику

Sergey
17.09.2018
13:48:25
сколько нод
где хостится
какой обьем трафика\нагрузки обычный, какой нет
что когда где деплоили
никакой инфы то по сути нет
это гадание на кофейной гуще

Artem
17.09.2018
13:48:33
а вот iftop

artb1sh
17.09.2018
13:48:39
Большой проект для скромного, для скромного и маленького цпу

Andrew
17.09.2018
13:48:50

Sergey
17.09.2018
13:50:03
я до сих пор не могу сказать что где жрет потому что нужна тотальная документация всего и вся, инфа 100 есть что то что разрабы не берут во внимание и пр
даже я не знаю 100% случаев говна на инфре, со всеми логами и мониторингом

artb1sh
17.09.2018
13:50:10
Юлька дрочит?

Sergey
17.09.2018
13:57:38
Ребят, а кто постмортемы пишет на работе за инциденты?