
Belegnar
11.09.2017
22:11:55

Eugine
11.09.2017
22:12:06
Ну то есть как - не могу. С трудом, епта

insanemainfame
11.09.2017
22:16:00
В расте напрягают только эти ret
Ну и что в нашем времени скобки фигурнве использовать приходится

Google

Eugine
11.09.2017
22:16:46
Эм
Ты же понимаешь
Что это тебе не питон?

insanemainfame
11.09.2017
22:24:25
Ну так все должно быть питоном, либо не Сильно хуже
2017 год блэд

Eugine
11.09.2017
22:45:49
Не питон != Хуже

Belegnar
11.09.2017
23:06:54
Ну да, питон == лучше ?

Zart
12.09.2017
05:50:20

Andrei
12.09.2017
06:29:06

Zart
12.09.2017
06:29:22
это тебе так удобнее или ему?

Max
12.09.2017
06:44:50
это тебе так удобнее или ему?
как по мне, тут дело не сколько в удобстве, а сколько в скорости, веб решает проблему кросс платформенности, релизишь, и посути работаешь на всех устройствах разом, ну и постепенно пилишь клиенты, но в данном случае, есть тз

dmks
12.09.2017
06:52:25
Это в идеале

Andrei
12.09.2017
07:01:11

Google

Zart
12.09.2017
07:02:46
все хорошо, если условия позволяют
правда скиллсет другой совсем

Andrei
12.09.2017
07:39:30
ну пиши он на до диезе, то можно было б выбирать

x3233
12.09.2017
07:41:04
подскажите, на некоторых сайтах скрипт падает с ошибкой
ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:661)
каким параметром можно отключить проверку валидности сертификата?

Andrei
12.09.2017
07:42:19
отключить у себя или у сайта?

x3233
12.09.2017
07:42:34
в скрипте

Andrei
12.09.2017
07:43:38
ну насколько я знаю - для SSL нужен сертификат
давай конкретно, какой API ты дергаешь?

x3233
12.09.2017
07:44:54
ни какой

Andrei
12.09.2017
07:45:15
а URL как выглядит?

x3233
12.09.2017
07:45:25
sitename.ru
как то так
дело в том что падает только на двух сайтах из 7
тут скрипт без реквеста
еще прикол в том что один и тот же скрипт, но на другом компе падает на другом сайте
проскакивает первый проблемный сайт и падает на втором

b0g3r
12.09.2017
07:55:19
The parameter cert_reqs specifies whether a certificate is required from the other side of the connection, and whether it will be validated if provided. It must be one of the three values CERT_NONE (certificates ignored), CERT_OPTIONAL (not required, but validated if provided), or CERT_REQUIRED(required and validated). If the value of this parameter is not CERT_NONE, then the ca_certs parameter must point to a file of CA certificates.
Дока для пидоров!

Google

Milton
12.09.2017
07:58:25

Andrei
12.09.2017
08:08:58
Дока для пидоров!
то есть авторити должно локально быть для:
If the value of this parameter is not CERT_NONE, then the ca_certs parameter must point to a file of CA certificates.
?

x3233
12.09.2017
08:17:46
кстати питон два
ни как не получается прикрутить, ошибка сохраняется
context = ssl.create_default_context()
context.verify_mode = 1

Евгений
12.09.2017
08:21:01

Zart
12.09.2017
08:46:57

x3233
12.09.2017
08:48:25
Python 2.7.13 (default, Jun 26 2017, 14:28:43) [MSC v.1500 64 bit (AMD64)] on win32

Zart
12.09.2017
08:49:26
значит уже с фиксами

x3233
12.09.2017
08:50:39
>>> ssl.OPENSSL_VERSION
'OpenSSL 1.0.2j 26 Sep 2016'
на соседнем компе 15го года, и там работает норм

Zart
12.09.2017
08:51:01

x3233
12.09.2017
08:51:52
с таким ссл работает
_ssl.OPENSSL_VERSION
'OpenSSL 1.0.2a 19 Mar 2015'

Andrei
12.09.2017
09:06:26

Zart
12.09.2017
09:06:39
существует ссл без сертификатов

Andrei
12.09.2017
09:07:39
хм, а как он тогда защищается, просто шифрует

Google

Zart
12.09.2017
09:25:18
without certificate != without valid certificate
фейл логики

Andrei
12.09.2017
11:19:15
причем тут фейл логики?
второй ответ же

Alexey
12.09.2017
11:20:39

b0g3r
12.09.2017
11:28:16

Zart
12.09.2017
11:29:40

Admin
ERROR: S client not available

Zart
12.09.2017
11:29:49
чому один?
1 - это ssl.CERT_OPTIONAL, но магические числа выглядят прикольнее же
" In this mode no certificates will be required from the other side of the socket connection; but if they are provided, validation will be attempted and an SSLError will be raised on failure"

b0g3r
12.09.2017
11:31:15
In [60]: ssl.CERT_OPTIONAL
Out[60]: <VerifyMode.CERT_OPTIONAL: 1>
ага
надо CERT_NONE?

Zart
12.09.2017
11:31:34
угу, чтобы совсем не проверять

Vladimir
12.09.2017
11:31:45

Zart
12.09.2017
11:31:50
но при этом безопасность разумеется по звезде

Alexey
12.09.2017
11:33:53

Mikhail
12.09.2017
11:42:41

Google

Alexey
12.09.2017
11:45:48
что угодно
Ну я ща риквестсами за 12 суток спиздил каталог на 40М страниц через прокси, т.к. там автобанилка работае.
Для моего таска заебись подошло всё.

Andrei
12.09.2017
12:15:35

Alexey
12.09.2017
12:15:51
Что именно? Базу?

Andrei
12.09.2017
12:16:30
спыжженое.

Alexey
12.09.2017
12:16:51
Нет.

Andrei
12.09.2017
12:18:20
жесткое нет

Lulz
12.09.2017
12:18:28

Ilya
12.09.2017
12:18:57
Нет смысла для выкачки страниц пользоваться чем то другим

Andrei
12.09.2017
12:19:48

Alexey
12.09.2017
12:20:04
Разбор и проверка поступающих данных, чтобы совпадали с ожидаемыми.
Отброс проксей с инкрементом таймаута.
Сортировка по странам, к каждой привязаны куки-хуюки, агенты-хуягенты.

Ilya
12.09.2017
12:23:02
Я с таким обычно через тор и бесплатные прокси работаю

Alexey
12.09.2017
12:23:21
Давай-давай, 80 страниц в секунду 100-120кб через тор сделай мне.

Ilya
12.09.2017
12:23:31
а клаудфлер, которым пользуются почти все обходится самописной либой
да и в пабе что-то есть

Alexey
12.09.2017
12:23:51
У CloudFlare почти всё самописное + запатченное.