В общем мой мегацкрипт разбит на две части, первая дергает все ссылки на товар, вторая дергает по этим ссылкам данные товара. Так вот, каждый раз первая часть скрипта дергает все больше и больше ссылок. Такое чувство что там на сайте кто-то херачит шопапакарла. Пол тыщи, за пару суток... В общем не верю. Думаю может мой мегачкрипт случайно дубли ссылок добавляет?

Так вот, посоветуйте как максимально быстро найти в файле из 30К строк дубликаты

Или тут только цикл?

так .. у меня уже эльфы и гоблины начали ходить и бить друг друга

елка сегодня шикарная

30К строк вполне можно загрузить во множество, оно очистит данные от дублей. Советую сначала просто считать строки, посчитав их, потом посмотреть на длину множества. Если они разные, то переписать их опять в файл из множества.

так .. у меня уже эльфы и гоблины начали ходить и бить друг друга

у меня ответ не сходится =(((

а все тестовые проходят

ну, просто убунта - то еще говнище

Что-то у тебя все говнище. Тем не менее тот же pyenv удобен при работе с неск проектами и разными версиями питона.

парни привет помогите разобраться новичку дело вот в чем, вот функция: ===================== import optparse def getArguments(): parser = optparse.OptionParser() parser.add_option("-i", "--interface", dest="interface", help="Choose interface <>") parser.add_option("-m", "--masc", dest="new_mac", help="Mac adress <>") (options, arguments) = parser.parse_args() if not options.interface: parser.error("[--->] Must choose interface, use --help ") elif not options.new_mac: parser.error("[--->] Must choose Mac adress, use --help ") return (options.interface, options.new_mac) ===================== я делаю прогу при запуске которой я даю 2 параметра, вот в таком формате: prog.py -i vasea -m kolea я хочу проверить есть ли аргументы, код функции выше дальше я начинаю тестить, и вот что получается: если я запускаю : " prog.py -i етх0 " -> то есть даю тока первый параметр и значение для него то обрабатывается ошибка и выскакивает сообшение из моего огработчика parser.error( .... ) а если я запускаю : " prog.py -i " -> то есть вставляю имя параметра (у меня их 2: -i -m) но не даю значение для етого параметра ТО ошибка обрабатывается НО не появляется сообшение из моего огработчика parser.error( .... ) а мне надо что в случае запуска без параметров или запуск с параметром но без значения для параметра при обработки ошибки высвечивался текст ошибки из моего обработчика parser.error( .... ) может кто подсказать ка реализовать мне это ???

https://asciinema.org/a/1h8guSh9ekybBe7GsUnvnNakD

парни привет помогите разобраться новичку дело вот в чем, вот функция: ===================== import optparse def getArguments(): parser = optparse.OptionParser() parser.add_option("-i", "--interface", dest="interface", help="Choose interface <>") parser.add_option("-m", "--masc", dest="new_mac", help="Mac adress <>") (options, arguments) = parser.parse_args() if not options.interface: parser.error("[--->] Must choose interface, use --help ") elif not options.new_mac: parser.error("[--->] Must choose Mac adress, use --help ") return (options.interface, options.new_mac) ===================== я делаю прогу при запуске которой я даю 2 параметра, вот в таком формате: prog.py -i vasea -m kolea я хочу проверить есть ли аргументы, код функции выше дальше я начинаю тестить, и вот что получается: если я запускаю : " prog.py -i етх0 " -> то есть даю тока первый параметр и значение для него то обрабатывается ошибка и выскакивает сообшение из моего огработчика parser.error( .... ) а если я запускаю : " prog.py -i " -> то есть вставляю имя параметра (у меня их 2: -i -m) но не даю значение для етого параметра ТО ошибка обрабатывается НО не появляется сообшение из моего огработчика parser.error( .... ) а мне надо что в случае запуска без параметров или запуск с параметром но без значения для параметра при обработки ошибки высвечивался текст ошибки из моего обработчика parser.error( .... ) может кто подсказать ка реализовать мне это ???

да не юзай ты optparse

сказали же

есть argparse

есть argparse

ok

ссори за меме

но это смешно

30К строк вполне можно загрузить во множество, оно очистит данные от дублей. Советую сначала просто считать строки, посчитав их, потом посмотреть на длину множества. Если они разные, то переписать их опять в файл из множества.

Накостылял вот такое поделие: http://dpaste.com/2XFTG0G Чисто ради того чтоб посмотреть есть ли дубли вообще ... есть

множество == список?

у меня ответ не сходится =(((

а у меня сломался волновой поиск когда нет маршрута 8)

или еще на чем-то

а у меня сломался волновой поиск когда нет маршрута 8)

А ты достижимые не волной что ли ищешь?

достижимые ищу волной, просто я до сих пор не сталкивался с ситуацией, когда достижимых нет. У меня волна очень ... на коленке сляпана

Ну у меня тоже на коленке :))

Так они друг друга загораживабт

угу

ну я только сейчас с таким столкнулся 8)

мхм

ок, обратная волна чот поломалась

А я без обратной волны сделал. Но вроде должно пофиг быть

там есть разница, через какую траекторию он пойдет

Всем привет. Помогите разобраться с авторизацией на сайте, при помощи библиотеки requests. Почему при входе в аккаунт через requests, coookies отличаются от тех, которые сохраняются в браузере ? Не хватет параметра data который содержит hashcode. Или hashcode генерируется скриптом в браузере и отсылается на сервер?

Накостылял вот такое поделие: http://dpaste.com/2XFTG0G Чисто ради того чтоб посмотреть есть ли дубли вообще ... есть

Есть такой костыль на определение наличия дублей: def there_are_doubles(_list): return len(_list) != len(set(_list))

Есть такой костыль на определение наличия дублей: def there_are_doubles(_list): return len(_list) != len(set(_list))

Спасибо. Зачем символ "_"???

там есть разница, через какую траекторию он пойдет

Это да. Я волну сортирую

ы, блин, у меня волновой поиск ломается когда на первой же волне цель достигнута 8)

Всем привет. Помогите разобраться с авторизацией на сайте, при помощи библиотеки requests. Почему при входе в аккаунт через requests, coookies отличаются от тех, которые сохраняются в браузере ? Не хватет параметра data который содержит hashcode. Или hashcode генерируется скриптом в браузере и отсылается на сервер?

Может он через js генерируется?

ы, блин, у меня волновой поиск ломается когда на первой же волне цель достигнута 8)

Гг

Привет. Ребят, посоветуйте решение. Есть задача сделать обработчик файлов, который получает файлы по http, асинхронно их обрабатывает и отдает результат. Дано: 1. Файл обрабатывается за 20-40сек. 2. Файлы будут загружаться по http пачками в 100-1000 файлов. 3. api сделано на flask и хочется на нем и остаться. 4. python 3.7 Первоначально думал сделать через celery + rabbitmq (но я не знаю насколько тяжело rabbit поддерживать в prod). Пока планирую сделать 3 части: 1. база на postgresql, в ней же будет очередь задач. 2. api на flask которое будет принимать файлы, укладывать их на диск и ставить задачу в postgresql. 3. обработчик, который собственно будет обрабатывать файлы (хочется иметь возможность разнести его на другой сервер и поднимать несколько инстансов). Думаю api к нему тоже сделать на flask по http, чтобы была возможность разнести на разные сервера. Вопрсосы: 1. Как запускать обработчик? Инициировать с приложения 1? И говорить ему "работая, очередь не пуста". 2. Как хранить файлы? Просто на диске? Или же создавать какой-либо файлообменник? 3. Хочу все завернуть в docker контейнеры. под python часть хочу вот этот взять - https://hub.docker.com/r/tiangolo/uwsgi-nginx-flask/. под postgresql - https://hub.docker.com/_/postgres/ Как вы считаете, есть ли здесь здравый смысл?)

Спасибо. Зачем символ "_"???

Потому что list - встроенный тип. Вообще вроде по пепу надо чертояками в конце: list_

во, чот дальше зашуршало

Спасибо. Зачем символ "_"???

Это все от лени, list - зарезервированное слово, его не стоит использовать в качестве переменной, мне лень было придумывать имя для переменной, достаточно поставить знак подчеркивания перед list и это уже другое слово. Кроме того, в питоне есть соглашение, если переменная начинается с _, то она используется для внутренних целей.

Привет. Ребят, посоветуйте решение. Есть задача сделать обработчик файлов, который получает файлы по http, асинхронно их обрабатывает и отдает результат. Дано: 1. Файл обрабатывается за 20-40сек. 2. Файлы будут загружаться по http пачками в 100-1000 файлов. 3. api сделано на flask и хочется на нем и остаться. 4. python 3.7 Первоначально думал сделать через celery + rabbitmq (но я не знаю насколько тяжело rabbit поддерживать в prod). Пока планирую сделать 3 части: 1. база на postgresql, в ней же будет очередь задач. 2. api на flask которое будет принимать файлы, укладывать их на диск и ставить задачу в postgresql. 3. обработчик, который собственно будет обрабатывать файлы (хочется иметь возможность разнести его на другой сервер и поднимать несколько инстансов). Думаю api к нему тоже сделать на flask по http, чтобы была возможность разнести на разные сервера. Вопрсосы: 1. Как запускать обработчик? Инициировать с приложения 1? И говорить ему "работая, очередь не пуста". 2. Как хранить файлы? Просто на диске? Или же создавать какой-либо файлообменник? 3. Хочу все завернуть в docker контейнеры. под python часть хочу вот этот взять - https://hub.docker.com/r/tiangolo/uwsgi-nginx-flask/. под postgresql - https://hub.docker.com/_/postgres/ Как вы считаете, есть ли здесь здравый смысл?)

Звучит норм. Правда если захочешь несколько серверов, надо будет что-то типа nfs например поднять

Звучит норм. Правда если захочешь несколько серверов, надо будет что-то типа nfs например поднять

Согласен. на старте все будет на одном сервере, но я думаю, что если понадобится разнести, то не сложно будет это допилить.

нашел у себя одну потенциальную багу, может повлияло бы на ответ

типа когда кого-то убили, он еще мог ударить в ответ. В теории

А

У меня такое было, да

В тестовых такое есть

print(len(data)) zz = list(dict.fromkeys(data)) print(len(zz)) » 30122 » 30116 Можно было бы и не заморачиваться...

Но почему?

print(len(data)) zz = list(dict.fromkeys(data)) print(len(zz)) » 30122 » 30116 Можно было бы и не заморачиваться...

А чем это отличается от set()?

А чем это отличается от set()?

Мне гугль так подсказал)))

ща время засекемь!

всем привет. как отправить сообщение к боту через код? посоветуйте библиотеку

В го, например, вообще сет отсутствует. Все делают через словарь

всем привет. как отправить сообщение к боту через код? посоветуйте библиотеку

Куда сообщение? Sms?

мхм. Не, чот у меня не сходится с тестами кое-где количество раундов

В го, например, вообще сет отсутствует. Все делают через словарь

А как с set() дубли вычленить?

А как с set() дубли вычленить?

set(list_) удалит дубли

и всьо?

Да

А как с set() дубли вычленить?

Сет и так убирает дубли

Будет множество

Вместо списаа

Там же по принципу хеша работает

Куда сообщение? Sms?

мне нужно отправить сообщение к боту через код

Тоже

мне нужно отправить сообщение к боту через код

Какому боту? ВКонтакте, ирц, вотсап?

Какому боту? ВКонтакте, ирц, вотсап?

телеграм боту

Ща бы структуры данных самые базовые не знать Даже set

телеграм боту

https://github.com/pyrogram/pyrogram

первое что нашел

PyTelegramBotAPI

Это классика

PyTelegramBotAPI

А боты могут с ботами общаться через апи?

А боты могут с ботами общаться через апи?

Не

Ну вот

а, блин, надо считать только полные раунды!

PyTelegramBotAPI

мне нужны ответы

Ну я вообще хз как посчитать неполный

print(len(data)) start = datetime.datetime.now() zz = list(dict.fromkeys(data)) print('Количество: %s за: %s сек' % (len(zz), datetime.datetime.now()-start)) start = datetime.datetime.now() zz = set(data) print('Количество: %s за: %s сек' % (len(zz), datetime.datetime.now()-start)) 30122 Количество: 30116 за: 0:00:00.022001 сек Количество: 30116 за: 0:00:00.005000 сек

мдоо

set в лист обратно не преобразовал

ну у меня берется список тех, кто еще может мутузиться и по нему считается

раунд полный, если все из этого списка успели поработать прежде, чем помер последний враг

то есть если два гоблина бьют эльфа с 2 хитами, то первый убил, а второй ничего не делал = раунд неполный

а если 4 хита, то оба ударили = раунд полный

set в лист обратно не преобразовал

Угу, а как такие штуки преобразовывают?

list(set(data)) ничего хорошего не сделал

http://codephoto.ru/i/Iu9wp

Set быстрее в два раза

раунд полный, если все из этого списка успели поработать прежде, чем помер последний враг

А. Ну я проверяю наличие соперников до хода. Так что у меня любой раунд неполный

http://codephoto.ru/i/Iu9wp

о, новые шаблоны)0

о, новые шаблоны)0

Ну я страничку ещё недели две назад причесал

А картинки те же