@spbpython
GNU/Docker16.05.2017
10:34:03
10:34:03
Я не знаю что сказать на это, сорян.
Danil16.05.2017
10:36:02
10:36:02
Коллеги, нужен совет :)
Мы тут разрабатываем систему, которая интегрируется с десятками других систем через HTTP(S) REST API.
Хочется иметь центральный компонент через который проходят все запросы к API и в процессе разработки, и в процессе тестирования, и в продакшене.
Этот компонент будет мониторить плотность запросов и предотвращать случайные while True: make_request() в разработке.
Не хайлоад. Ожидаем меньше 10 запросов в секунду. Запросы только наружу (outbound)
Может уже есть готовые решения для такой прокси-троттлилки?
кажется ты хочешь себе что-то вроде билинг системы для апишечки, не натыкался на готовые решения, обычно своё надо писать.
Vitali K.16.05.2017
10:36:23
10:36:23
Я бы сказал мне надо http прокси с очередью внутри
GNU/Docker16.05.2017
10:36:57
10:36:57
Это не биллинг ни в коем случае.
GoogleVitali K.16.05.2017
10:37:22
10:37:22
с деньгами не связано
Roman16.05.2017
10:37:34
10:37:34
ты хочешь млн запросов в очередь из-за while 1 ?
Roman16.05.2017
10:38:19
10:38:19
Vitali K.16.05.2017
10:38:19
10:38:19
ты хочешь млн запросов в очередь из-за while 1 ?
у очереди есть размер. те кто не встал, получат отлупRoman16.05.2017
10:38:38
10:38:38
Roman16.05.2017
10:39:00
10:39:00
GNU/Docker16.05.2017
10:39:05
10:39:05
Чем это поможет разработчикам не быть идиотами?
GoogleVitali K.16.05.2017
10:39:25
10:39:25
Dmitry16.05.2017
10:39:44
10:39:44
за что они хотели вас судить?
GNU/Docker16.05.2017
10:39:46
10:39:46
компаниям*
Vitali K.16.05.2017
10:39:50
10:39:50
NDA
Roman16.05.2017
10:39:58
10:39:58
скажи это компаниями которые хотели нас судить
тебе нужны обычные рейтлимиты. на ip или ещё какой-то идентификаторGNU/Docker16.05.2017
10:40:27
10:40:27
а это нельзя правилами айпитейблс вообще нарулить?
Roman16.05.2017
10:40:31
10:40:31
если ip достаточно - то ответ выше уже озвучили - nginx.
GNU/Docker16.05.2017
10:40:31
10:40:31
контраки там, все дела.
Vitali K.16.05.2017
10:40:38
10:40:38
в nginx мне надо будет настраивать каждый desntination отдельно?
т.е. по http заголовку он же не поймет куда отправлять?
GNU/Docker16.05.2017
10:41:05
10:41:05
"Зачем" это вопрос которым я задаюсь с начала диалога.
Roman16.05.2017
10:41:10
10:41:10
Vitali K.16.05.2017
10:41:45
10:41:45
запросы исходящие. могу в google.com, могу d xxx.com отправить
Vitali K.16.05.2017
10:42:31
10:42:31
наш сервис не принимает входящих запросов
нечего досить
он делает исходящие запросы
GoogleGNU/Docker16.05.2017
10:42:50
10:42:50
> кого-то
Roman16.05.2017
10:44:46
10:44:46
он делает исходящие запросы
тогда и правда проще на уровне пакетного фильтра ограничить рейты на новые коннекты и на число установленныхVitali K.16.05.2017
10:45:30
10:45:30
тогда и правда проще на уровне пакетного фильтра ограничить рейты на новые коннекты и на число установленных
DOS в других терпминахкол-во http запросв
короче можно похоже настроить nginx как transparent proxy. да?
Roman16.05.2017
10:48:59
10:48:59
https://ef.gy/using-nginx-as-a-proxy-server
Vitali K.16.05.2017
10:51:05
10:51:05
Dmitry16.05.2017
11:10:43
11:10:43
А еще можно использовать Haproxy для rate limits
Но вхождение в Haproxy - боль
Dmitry16.05.2017
12:00:28
12:00:28
хапрокси ванлав
Vitali K.16.05.2017
12:02:17
12:02:17
Nginx попробуем как форвард прокси
Eugene16.05.2017
14:36:53
14:36:53
Товарищи, что можете сказать про это?
https://github.com/jazzband/pip-tools
Стоит того, чтобы его использовать?
Google
Badjoker16.05.2017
14:37:40
14:37:40
@beminer_bot
Stepan16.05.2017
14:49:42
14:49:42
Eugene16.05.2017
14:50:26
14:50:26
Тут просто часто споры вокруг pip и его экосистемы идут. Вот эта штука вроде как пытается всё починить в плане управления зависимостями.
Stepan16.05.2017
14:54:19
14:54:19
Ну модная сырая штука это pipfile и какая-то тулза от автора requests но она слишком много на себя берет. Pop tools просто помогает отделить прямые зависимости от косвенных.
Eugene16.05.2017
14:55:24
14:55:24
Мне нравится, что она показывает какая зависимость кому нужна.
Stepan16.05.2017
15:10:41
15:10:41
угу
Vitali K.16.05.2017
15:13:04
15:13:04
@pragus @nonamenix
продолжаю утреннюю тему с nginx как forward proxy... он не умеет форвардить https :)
Serge16.05.2017
15:18:22
15:18:22
@pragus @nonamenix
продолжаю утреннюю тему с nginx как forward proxy... он не умеет форвардить https :)
никто не умеет, только тссс....Vitali K.16.05.2017
15:19:06
15:19:06
? что ты имешь в виду
Serge16.05.2017
15:19:47
15:19:47
? что ты имешь в виду
а что ты имеешь в виду? как ты представляешь себе форвардинг https на уровне http?Vitali K.16.05.2017
15:20:21
15:20:21
proxies = {
'https': 'http://proxy',
}
r = requests.get('https://httpbin.org/ip', proxies=proxies)
Serge16.05.2017
15:20:30
15:20:30
у тебя же nginx получается еще одним termination point
Vitali K.16.05.2017
15:20:36
15:20:36
к прокси подключаемся по http
сам прокси ходит по https
nginx так не умеет
Serge16.05.2017
15:21:49
15:21:49
proxies = {
'https': 'http://proxy',
}
r = requests.get('https://httpbin.org/ip', proxies=proxies)
ээээ... ты хочешь https over http прокси? ты уверен?termination point где?;)
Vitali K.16.05.2017
15:22:20
15:22:20
на прокси
Serge16.05.2017
15:23:04
15:23:04
смотри, у тебя http-прокси, ты идешь к нему по tls сокету, тебя шлют. и я бы тоже послал.
ты понимаешь насколько http и https разные вещи?
GoogleVitali K.16.05.2017
15:25:43
15:25:43
запускаю https://github.com/inaz2/proxy2 локально
proxies = {
'https': 'http://localhost:8080',
}
r = requests.get('https://httpbin.org/get', proxies=proxies)
print(r.text)
{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.12.4"
},
"origin": "92.255.125.253",
"url": "https://httpbin.org/get"
}
Serge16.05.2017
15:26:39
15:26:39
надо смотреть код. думаю, это хак
GNU/Docker16.05.2017
15:27:00
15:27:00
Ничем хорошим это не пахнет.
Vitali K.16.05.2017
15:27:15
15:27:15
В чем минус?
Serge16.05.2017
15:28:21
15:28:21
погоди, а зачем тебе в конфиге прокси, если у тебя форвард-прокси? мне казалось, это его дело решить куда тебя форвардить по этому имени...
и его дело хостить твой ssl
Serge16.05.2017
15:31:37
15:31:37
а, ну понятно.
я про это и говорю
но nginx будет роутить, т.е. он хочет ssl termination. значит нужны фейковые сертификаты
и тогда https не нужен
в смысле, теряет смысл
Aleksander16.05.2017
15:32:57
15:32:57
https://pp.userapi.com/c638816/v638816395/39b87/Qz4bv20nXgw.jpg
Открыть в Telegram