Блядь, ты меня учить сейчас будешь что ли?

эхехе

чот мы не поняли друг друга, я поддержал тебя скорее

я слишком груб для этого мира^W^Wбегиннерсов 8(

=))

Я тебе о том, что говнотор не даст на две недели скорости нужной и гарантированных нод, а ты мне — что мне надо сделать, чтобы оно заработало?

Зачем? У меня три миллиона проксей в базе и постоянно живых десяток тысяч проверенных полчаса назад максимум. А тут — треды завези.

ну так условия сразу прописывай, про 2 стабильных недели

Шикарно, мне такую бд всё не дают сделать)

Проще забить уже, ниочём срач же

Ну так ты хуйню говоришь, а потом такой — срач ни о чём. :)

тоже правда есть

Всё сразу было написано. Я просто не совсем представляю как ты сделаешь сорок миллионов запросов последовательно, получишь сотню килобайт с каждого и уложишься в указанный срок.

А вообще, саммари: 2.7, гивенты, риквестсы, ≈2.5 терабайта сырых данных, 450 гигабайт на диске дамп.

Жался дамп в ztsd=9, средняя степень компрессии 6.1х. По качеству как gzip, по скорости стократ пизже. Ещё смотрел в brotli, lz4, lzof, lzma и ещё горку совсем экзотики. zstd рекомендую после этого опыта. Через неделю-две освобожусь, возьму ещё денег и уже раскидаю в csv это всё.

Если когда-нибудь будет снова такой таск — сделаю динамический пул сразу, потому что днём оптимум был ≈50 тредов, а ночью сотка. Автоподстройку латенси сделал сразу для отбора проксей из горячего пула, а вот на автоподстройке пула воркеров мне стало так впадлу, тем более пиздинг шёл с опережением естимейта во много раз.

Днём постоянно приходилось подстраиваться и принудительно снижать производительность, т.к. у сервиса начали расти таймауты и иногда вылетать бэд гейтвеи.

Днём постоянно приходилось подстраиваться и принудительно снижать производительность, т.к. у сервиса начали расти таймауты и иногда вылетать бэд гейтвеи.

они что-то заподозрили

Нет, они падали.

=D

Они заподозрили когда я бенчмаркал вообще как там чо какие цифры можно выбить и в 50 тредов начал забирать напрямую в начале. После ≈10к запроса бан.

интересно, автоматом бан прилетел что ли

Да, автоматика, это тоже проверял.

Банить глупо. Я когда меня парсят — автоматом начинаю отдавать всё, что угодно, кроме целевой страницы. Пусть парсят на здоровье, лолушки, и таймауты поднимаю, чтобы никуда не торопились от меня уходить.

Банить глупо. Я когда меня парсят — автоматом начинаю отдавать всё, что угодно, кроме целевой страницы. Пусть парсят на здоровье, лолушки, и таймауты поднимаю, чтобы никуда не торопились от меня уходить.

О это адское коварство)

Ну так ты или парси как положено — не доводя до высокой нагрузки и не мешая никому, или сам страдай, идиот.

чтоб совсем охуели надол еще поднимать страницы похожие по тэгам на целевые но со всякой хуетой вынутри

э

Так естественно.

Нагонять трафик ща чужой счёт лол

Ещё рандомный ответ выкидывается, хошь 200, хошь 201, хошь 276 (не спрашивай меня что это), хошь I'm a teapot.

Нагонять трафик ща чужой счёт лол

Как бе хуй ты трафик нагонишь за счёт краулеров.

:(

Ещё рандомный ответ выкидывается, хошь 200, хошь 201, хошь 276 (не спрашивай меня что это), хошь I'm a teapot.

502 чтобы съебали

Не слышал ни разу, чтобы при тупом „скачать, dom разобрать, взять по xpath вот тут и тут” кто-нибудь эвалил жс просто так и подгятивал скрипты.

502 чтобы съебали

Слишком скучно.

502 чтобы съебали

вернутся

а вот хуеты налить - будут часами ее выуживать

Именно. :3

Придут снова — снова получат какой-нибудь фортель. Придут нормально и не мешая работать — да пожалуйста.

Короче, не будь пидором, делай нормально и нормально будет.

стикер даже сварганил

Этому стикеру сто лет.

если ты понимаешь о чем я

http://prosto.toys/catalog/vovka-i-pechka.html

вот я и нашел нового маскота на работу, блэт

вот я и нашел нового маскота на работу, блэт

кстати, завтра профессиональный праздник. все помнят?

этих профессиональных праздников - как говна

простите

2 ** 8 ?

ага

год не високосный, так что...

Отмечать надо 255 день.

Т.е. 256 — это уже 2**9.

ну заметь там же декабрь 31

Уговорил.

уговорил

ERROR: S client not available

ежели по грамоте от нуля

Это дистанция 255.

O(1).

ну да, полных 255, и 256th отмечаемый

к тому же первый день - первый, а не нулевой

@zartsoft отчего setup.py sdist строит архив, в котором сабпакеджы внезапно превращаются в один плоский пакедж?

ват

но, есть один момент: в пакедже есть сабпакедж с именем pref, а внутри файл: pref/pref_name.py pref/pref_name2.py

может ли вот это pref_ влиять?

чот нихуа не пони

MANIFEST.in проверял?

Zart а нет манифеста

ну

нуу. такое

я хз как ты умудрился.. а плагины не стоят случаем?

просто есть setup(... package=find_packages() ...)

нет, плагинов нет. ну и не я сделал, я просто удивился, когда полез в site-packages/name/. а там всё плоское

да еще и __init__ из сабмодуля перетёр __init__ из корня

эээ

херня какая-то

угу

скинуть можешь, на посмотреть?

или нда и всё такое

ну да, nda

попробую сам поковырять

в общем сдист генерится строго по MANIFEST

важно, что это не я дурак, а так быть не должно

MANIFEST генерится либо из MANIFEST.in, если есть если нет - оправшивается плагин контроля версий, если установлен если ничо нет - дефолтная авто логика - взять все *.py, README/CHANGELOG/LICENSE в корне

сетап.кфг и там еще чота по мелочи

Zart http://setuptools.readthedocs.io/en/latest/setuptools.html Automatically include all relevant files in your source distributions, without needing to create a MANIFEST.in file, and without having to force regeneration of the MANIFEST file when your source tree changes.

в любом случае я не помню чтобы хоть где-то было вот такое изменение структуры

да чо нда, выкинь все лишнее, кроме инитов и этих преф_нэйм, а сами файлы оставь пустыми