Andrii
ELK вариант рассматривается параллельно
Andrii
на ELK надо сервак отдельный
maniac
с такими объемами на один эластик лучше несколько серваков.
Anton
Ну как бы да:)
Logan
[error] 7932#7932: *10 broken header: "CONNECT my.host.name:443 HTTP/1.1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:48.0) Gecko" while reading PROXY protocol, client: W.X.Y.Z, server: 0.0.0.0:443
Andrii
с такими объемами на один эластик лучше несколько серваков.
/etc/logstash/conf.d# cat /proc/cpuinfo | egrep "model name|cpu MHz|cache size|physical id"| sort | uniq && sudo dmidecode --type 17| grep Size | grep MB | awk '{sum=sum+$2} END {print "RAM: " sum}' && lspci | grep RAID
cache size : 12288 KB
cpu MHz : 2400.412
model name : Intel(R) Xeon(R) CPU E5620 @ 2.40GHz
physical id : 0
physical id : 1
RAM: 24576
03:00.0 RAID bus controller: LSI Logic / Symbios Logic LSI MegaSAS 9260 (rev 05)
такой успевал у меня хавать овер 4K EPS , правда я пихал только 10К сообщений, возможно если б поставить часа на два под нагрузку он бы и окаяурился хз
Juriy
Andrii
но пока вопрос размер блока для XFS ))
Logan
а как я его в проксирование переключу?
Juriy
ну, явно не так
Juriy
http://nginx.org/ru/docs/http/ngx_http_realip_module.html
Logan
убираем proxy_protocol и клиент, подключающийс к прокси получает 400 мгновенно
Logan
еще раз. У меня задача - сделать именно прокси. Клиент использует прокси, чтобы подключится к удаленному хосту. К прокси он подключается по HTTPS
Juriy
а к бэкенду по http? это стандартная задача
Logan
у меня миллион бэкендов. Ну конкретно сейчас из три тысячи
Juriy
а вот вы, похоже, не знаете что такое proxy_protocol:
http://www.haproxy.org/download/1.5/doc/proxy-protocol.txt
Logan
nginx нужен как терминатор https
Logan
вопрос в том, как настроить в данной ситуации nginx
Juriy
https://www.digitalocean.com/community/tutorials/how-to-set-up-nginx-load-balancing-with-ssl-termination
Juriy
server {
listen 443 ssl;
server_name example.com www.example.com;
ssl on;
ssl_certificate /etc/nginx/ssl/example.com/server.crt;
ssl_certificate_key /etc/nginx/ssl/example.com/server.key;
ssl_trusted_certificate /etc/nginx/ssl/example.com/ca-certs.pem;
location / {
proxy_pass http://mywebapp1;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
Juriy
оттуда
Juriy
и, кстати - именно это и называется "реверс-прокси"
Alexander
мы для такого использовали ha_proxy
Daniel
нет
Daniel
для этого хапрокси использовать нельзя
Alexander
почему?
Juriy
что у вас такое специфичное, что он не умеет?
Александр
Alexander
ааа всем интересно)
Alexander
более того, haproxy отлично балансирует трафик, есть чек доступности
Alexander
ограничение на количество коннектов накаждый апстрим
Alexander
))) ну расскажите, почему нельзя? Я же теперь работать не могу
Pavel
и мне и мне success story
Logan
https://www.digitalocean.com/community/tutorials/how-to-set-up-nginx-load-balancing-with-ssl-termination
великолепный док, жаль - не работает:
[05/Sep/2016:12:01:29 +0000] "CONNECT my.test.domain:443 HTTP/1.1" 400 166 "-" "-"
Logan
proxy_pass тоже на https, кстати. Но оно ни так, ни так - не работает
Daniel
))) ну расскажите, почему нельзя? Я же теперь работать не могу
haproxy не умеет https. то есть - лет 5 назад не умел, и мне сказали, что не научился и сегодня
соответственно - не умеет на https sticky sessions
Daniel
и вся лубофф
Alexander
в смысле не умеет?
А как же оно у нас работает?
Может у вас какой-то нестандартный кейс?
https://www.digitalocean.com/community/tutorials/how-to-implement-ssl-termination-with-haproxy-on-ubuntu-14-04
Alexander
ааа понял
Alexander
нестандартный кейс
Alexander
просто я имел ввиду как SSL терминатор у нас работает и мы вполне довольны
Juriy
изначально в задаче был описан именно ssl-терминатор
Daniel
по этому гайду я вижу, что мне наврали, и haproxy таки научился терминировать ssl
Daniel
тогда противопоказаний нет
Juriy
по этому гайду я вижу, что мне наврали, и haproxy таки научился терминировать ssl
у нас haproxy в продуктиве отлично ssl приземляет тоже
Alexander
ну году так в 2014 научился вроде
Daniel
ну вот да
Juriy
с версии 1.5
Logan
изначально в задаче был описан именно ssl-терминатор
изначально в задаче был описан прокси для терминации SSL. Я специально написал, что это НЕ реверс
Logan
после настройки DO получаю вот такое:
Proxy tunneling failed: Bad RequestUnable to establish SSL connection
Juriy
простите, но ни тогда ни сейчас так и не понял, почему это не реверс
Logan
потому, что это директ-прокси
Juriy
директ-прокси, это сквид в конторе
Logan
условно, его клиент в настройках подключения браузера вписывает
Logan
гениально!
Logan
вот мне и нужен сквид. Только маленький и тупой
Logan
а то тащить сквида для тупого терминирования трафика мне как-то не хочется.
Logan
отсюда и вопрос - что посоветуете на замену сквида. Маленькое, шустрое, тупое и с поддержкой https
Daniel
можно вкорячить nginx
Daniel
можно haproxy, как выяснилось
Logan
вот я уже три часа на доку нджинкса медитирую. И не выходит что-то каменный цветок. Если кто-то посоветует - буду рад
Juriy
таки мы и советуем
Juriy
вот, посоветовали выключить proxy_protocol
Juriy
сейчас и до ошибки 400 доберемся
Juriy
покажите конфиг
Logan
таки мы и советуем
присланные вами примеры не работают, ошибку я показал выше. могу показать конфиг целиком. прокси-протокол убрал
Logan
момент
Logan
server {
listen 443 ssl;
ssl on;
ssl_certificate /etc/nginx/ssl/ss.crt;
ssl_certificate_key /etc/nginx/ssl/ss.key;
access_log /var/log/nginx/test.access.log;
error_log /var/log/nginx/test.error.log;
server_name my.test.domain.ru;
location / {
proxy_pass https://my.test.domain.ru;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
Sergey
вот тебе и приземление на Nginx
Logan
если что, nginx я не первый день использую :)
Logan
я еще 0.6 помню
Aleksandr
Max
Подскажите, а чем можно реализовать прокси tcp трафика по разным бакэндам в зависимости от того от куда идут запросы.
Попробовал как то так:
https://github.com/yaoweibin/nginx_tcp_proxy_module/issues/55
оно таки не работает(
Juriy