или у тебя "уникальный контент"?

или у тебя "уникальный контент"?

Да "уникальный", лучше чтобы, зайти сразу в несколько акков и поочередно в ассихронном виде утескивать пока напарсил ак -> пока отдыхает, другой парсит, потом те отдыхают , третий парсит, потом снова 1 парсит

тогда действуй по алгоритму, описанному выше

+ async

привет хованскому

Какому бля

тогда действуй по алгоритму, описанному выше

Дак получается для каждого аккаунта придется по несколько раз выполнять логин и логаут?

Какому бля

Хованский ака пес защеканский

Дак получается для каждого аккаунта придется по несколько раз выполнять логин и логаут?

нет конечно, ты дашь csv из 30 логинов и тебе дадут пять разных сессий на это

ну не тупи, конечно придется каждый раз логиниться

либо не терять сессию

Дак получается для каждого аккаунта придется по несколько раз выполнять логин и логаут?

Логаут делать не надо. Сохраняй куки каждого аккаунта, и будет хорошо.

Логаут делать не надо. Сохраняй куки каждого аккаунта, и будет хорошо.

Спасибо

либо не терять сессию

Куки и сессию для каждого акка сохранять в файле

куки

Куки и сессию для каждого акка сохранять в файле

Сессия - это и есть куки.

Главное не злоупотреблять

Иначе нарвешься на капчу

Иначе нарвешься на капчу

На ютубе все ещё простая графическая капча?

Иначе нарвешься на капчу

На край можно антикапчу прикрутить

На ютубе все ещё простая графическая капча?

Сейчас не знаю, ip статичный, давно не видел

Сессия - это и есть куки.

не совсем)

Года 3 назад видел, на мтс модеме вроде простую

не совсем)

Ну расскажи мне про разницу со стороны клиента. ?

Ну расскажи мне про разницу со стороны клиента. ?

никакой)

А если бы golang взять, то все шепело не по детски, там типо горутины?

А если бы golang взять, то все шепело не по детски, там типо горутины?

Бери кресты вообще

Бери кресты вообще

Кресты сложна

Ну расскажи мне про разницу со стороны клиента. ?

со стороны клиенты и https от http мало чем отличается

только вопросы глупые заадет про сертификаты

только вопросы глупые заадет про сертификаты

requests умеет игнорировать косячные сертификаты.

значит протоколы в принципе равны?

значит протоколы в принципе равны?

Для питон кода, который грабает страницу - да.

facepalm

Гм. Через тор ютуб нормально работает, а тот же гугловский поисковик иногда выдает 2 вида капч

.pjg

jpg*

jpg*

Слова-то есть, или на картинки переходим?

requests умеет игнорировать косячные сертификаты.

В requests можно залогиниться сразу в нескольких аккаунтов , штучек 10, эта либа не подвиснит??? Или лучше взять новую http либу для python 3.5(не помню как она называется, но поскорости круче нод жс)

на личности, на самом деле не вижу поля для дискуссии с тобой

Для питон кода, который грабает страницу - да.

для кода может быть, для rfc вряд ли

А при чем тут rfc?

import requests requests. get('http://ya.RU') requests. get ('https://ya.RU')

мы про http и https говорили, человек сказал, что в принципе по хуй

я отойду на 10 минут

но обязательно вернусь

Похуй для питон кода грабера

И даже код показал.

скорость твоего бана на сервисе вряд ли будет зависеть от скорости питона/го

import requests requests. get('http://ya.RU') requests. get ('https://ya.RU')

Я хз, asinc + iohttp в 20 раз быстрее requests

Я хз, asinc + iohttp в 20 раз быстрее requests

Это с потоками?

какими потоками...

requests в 20 потоков довольно быстро работает, если бан не волнует

Я хз, asinc + iohttp в 20 раз быстрее requests

Точная арифметика

Это с потоками?

вот видео http://www.youtube.com/watch?v=M8Z65tAl5l4

requests в 20 потоков довольно быстро работает, если бан не волнует

если юзать еще сессии в requests то будет еще чуток быстрее.

вот видео http://www.youtube.com/watch?v=M8Z65tAl5l4

5.98 против 4.42, где тут 20 раз?

Точная арифметика

Это так от балды, виде выше посмотри

Это так от балды, виде выше посмотри

В этом случае могут параметры соединения с сервером влиять на результат

Если у тебя аккаунтов сто и диалап, то никакого профита практически не будет

Также и с особо быстрым соединением, но это маленько другая история

5.98 против 4.42, где тут 20 раз?

Сорри имел в виду новую супер http либу uvloop

Если у тебя аккаунтов сто и диалап, то никакого профита практически не будет

Нет, не более 10шт.

Сорри имел в виду новую супер http либу uvloop

вот как человек заговорил, сорян за грубость

Тебя все равно забанят раньше, чем твой uvloop успеет разогнаться

если сделать несколько впн и каждый поток через разны тащить?

если сделать несколько впн и каждый поток через разны тащить?

В арсенале будут socks5 прокси на борту

ERROR: S client not available

Вот как раз прокси то могут уже быть забанены

Тебя все равно забанят раньше, чем твой uvloop успеет разогнаться

Дак несколько акков вступают в игру

Дак несколько акков вступают в игру

Так все перебанят

самое главное - не забудьте для своей хуйни нарисовать логотип. красненький патаму шта БЫСТРЕЕ

RED GOES FASTA

Не падайте раньше выстрела.

Aleksey тебе какие данные нужны в итоге?

на газете без меня

самое главное - не забудьте для своей хуйни нарисовать логотип. красненький патаму шта БЫСТРЕЕ

Ахаааа)хацкер, лучше бы норм рекомендации дал, как построить архитектуру

привет. такой вопрос. Есть csv файл. В каждой строке по 5 значений через запятую. Если 4 значение равно 0 , строку нужно удалить. Как это можно реализовать?

привет. такой вопрос. Есть csv файл. В каждой строке по 5 значений через запятую. Если 4 значение равно 0 , строку нужно удалить. Как это можно реализовать?

Перебрать все строки.

Или просто лучше взять requests + thred + multiprocessing ???

1.смотришь строку 2. равно 0? = удаляешь 3. следующая строка

Или просто лучше взять requests + thred + multiprocessing ???

Как быстро нужно решение?

можно пример кода?) вот я прочел через readlines

Как быстро нужно решение?

Не быстро

получил список

Робяты, кто-нибудь заморачивался по подсчету CRC?

можно пример кода?) вот я прочел через readlines

Ну и зря, есть модуль CSV для этого.

Ахаааа)хацкер, лучше бы норм рекомендации дал, как построить архитектуру

берешь скрапи. профит

Робяты, кто-нибудь заморачивался по подсчету CRC?

в стдлибе есть адлер

что за адлер?

берешь скрапи. профит

Скрапи да, не детская библиотека , как следует дает жару . А если ее сравнить, например с с#, даст прикурить али нет?

что за адлер?

город такой рядом с сочи

Скрапи да, не детская библиотека , как следует дает жару . А если ее сравнить, например с с#, даст прикурить али нет?

мне честно похуй

import shutil in_file = 'in.csv' tmp_file = 'tmp.csv' with open(in_file, 'r') as csv: with open(tmp_file, 'w') as csv_out: for l in csv: s = l.split(',') if len(s) >= 4 and s[3].strip() != '0': csv_out.write(l) shutil.move(tmp_file, in_file)

что за адлер?

алгоритм CRC, используемый в zip

https://docs.python.org/3/library/zlib.html#zlib.adler32

самое главное - не забудьте для своей хуйни нарисовать логотип. красненький патаму шта БЫСТРЕЕ

Red goes faster А вообще - жёлтый

import shutil in_file = 'in.csv' tmp_file = 'tmp.csv' with open(in_file, 'r') as csv: with open(tmp_file, 'w') as csv_out: for l in csv: s = l.split(',') if len(s) >= 4 and s[3].strip() != '0': csv_out.write(l) shutil.move(tmp_file, in_file)

with open('in.csv', 'r') as fo, open('out.csv', 'w') as fo: fo.writelines(line for line in fi if not line.endswith(',0'))

ага только не endswith а 4-й столбец