/offtop

Чат по веб-разработке: https://telegram.me/web_structure

Я вообще в ближайшее время думаю переписать всё на сокеты. Нахуй урллиб, слишком медленно. А уж библеотеки типа grab так точно нахуй.

вроде как нет моделей (Item в scrapy, оч удобная штука), pipelines, middleware и прочих плюшек с модульностью и "плагинами" grab'а достаточно, если нужно просто автоматизировать какие-то действия на ресурсе, а вот grab.spider значительно проигрывает scrapy (хотя, может уже что-то поменялось, давно не следил)

короче обертки какие-то которые типа что-то делают лучше. Items зачем они нужны? только путаницу создают, kmike кстати тоже думает что их убрать нужно. Middleware тебе зачем? в grab сам объект grab настраивается, сделай декоратор для методов если тебе везде что-то нужно проставлять.

модели там кстати были одно время их выкинули т.к. они не нужны оказались.

Item просто подмножество dict

pipelines в скапи они реально “pipelines” или просто стэк вызовов функций? вроде как я сурсы смотреть там просто вызов функций последовательно.

https://github.com/scrapy/scrapy/blob/master/scrapy/item.py

"модели"

Так и не нашел скрипт с тестами граба и урл либа.

Суть в том что граб(pycurl)/скрапи/урллиб забирают страничку раз в 10 медленнее сокетов. Довольно очевидно, но на практике - сайт с 15к страницами парсируется за час, а не за день.

15к страниц за день?

Сейчас у меня примерно так.

у меня почти миллион старниц за несколько часов парсится. на медиумном инстансе на амазоне.

Хотя можно быстрее, если потоков подкрутить, но чот память забивается.

включая логин

С картинками?

картинки не нужны, можно было бы картинки тащить, разница была бы не сильно большая.

Хм, чот я неправильно делаю. Какие прокси используешь?

амозоновские elasticip

вообще разные использовал разницы особой нет - fineproxy, proxymillion.

А у мня из открытых источников парсируются, лел.

тут наоборот, "python dives into sasha's ..."

короче обертки какие-то которые типа что-то делают лучше. Items зачем они нужны? только путаницу создают, kmike кстати тоже думает что их убрать нужно. Middleware тебе зачем? в grab сам объект grab настраивается, сделай декоратор для методов если тебе везде что-то нужно проставлять.

ну, зависит от задач. в Item'ах можно предварительно обрабатывать какие-то данные (типа даты и пр.), согласен, это вряд ли можно назвать моделью, скорее обертка (которую юзает ItemLoader, например) когда целью стоит выцепить с ресурса объекты нескольких типов, да еще когда какие-то параметры зависят от контекста, а селекторы меняются несколько раз в месяц, очень легко потеряться, scrapy как фреймворк дает тебе инструмент для описания ресурса. плюсом ко всему, нужно было иметь несколько инстансов, которые разбирали бы очередь с заданиями и читали конфиги извне, когда это делал, в grab, вроде, даже еще не было адекватной очереди (или другая причина, щас уже не вспомню). короче говоря, в scrapy было реализовано всё, что нужно было мне (либо имелись сторонние модули для него), короче, слишком много пришлось бы пилить над грабом

а что тебе мешает в грабе сделать il = ItemLoader(data); il.save()?

у меня почти миллион старниц за несколько часов парсится. на медиумном инстансе на амазоне.

800 тредов, автопарсинг проксей, 143к за 10 минут

Только 800 тредов отнимают дохуя памяти, нахуй такое.

800 тредов это очень много.

у меня 5 тредов стоит

у меня ответ страницы - 2,9 секунды в среднем. У тебя сколько?

меньше гораздо

ну я прокси не использую. мне не надо.

у меня 5 тредов стоит

Миллионы за несколько часов на 5 тредах? Бляетокак.

а что тебе мешает в грабе сделать il = ItemLoader(data); il.save()?

ничего, но не отменяет остальных плюшек (можно поизвращаться и заменить некоторые части в scrapy grab'ом). надо бы посмотреть что вообще сейчас в grab творится, больше года не следил

> @tech_wizard в грабе несколько бэкендов под очереди. in memory, redis, mongo и posgtres

> @tech_wizard в грабе несколько бэкендов под очереди. in memory, redis, mongo и posgtres

это сейчас)

да это уже несколько лет как

> Alex Миллионы за несколько часов на 5 тредах? Бляетокак. celery запускает группами. по 4 спайдера одновременно

у меня оптовые склады куда надо с логином еще клиентским заходить.

оптовые склады в марике.

Асинхронно тип по урлам проходишь? Нихуя не понимат.

Впрочем похуй, мне-то скорость не особо важна.

всем привет) как лучше подружить Python с node.js? ситуевина такая - есть nfc, есть питоновский скрипт. При поднесении определенной карты нужно отправить сигнал в Node, чтобы он поменял страницу на соответствующую карте. Пока пытаюсь с помощью pythonshell, нифига не получается

Только 800 тредов отнимают дохуя памяти, нахуй такое.

зачем треды?

всем привет) как лучше подружить Python с node.js? ситуевина такая - есть nfc, есть питоновский скрипт. При поднесении определенной карты нужно отправить сигнал в Node, чтобы он поменял страницу на соответствующую карте. Пока пытаюсь с помощью pythonshell, нифига не получается

Брокер

Брокер

типа сокет.ио?

Да какой

Хочется

Спасибо, попробую)

Да какой

Ура, получилось. Для тех, кто прочитал, интересуется, но стесняется - проблема решается с помощью https://github.com/invisibleroads/socketIO-client и пары строчек кода

Гайз, немного не по теме вопрос, но хз куда задать. При использвании кода со сдвигом, мы сдвигаем на 2^n-1 или на 2^(n-1) -1

/360

/help

/uptime

/360

/uptime

Привет всем. Как найти последнее уникальное значение списка?

Привет всем. Как найти последнее уникальное значение списка?

шо?

Черт

Видимо не все так очевидно))

Ладно

ERROR: S client not available

Есть лог авторизации юзеров на почтовом сервере

Я его спарсил до того момента что мне отображаются записи логинов юзеров

Мне нужно понять когда последний раз логинелся юзер

Всем привет, есть вопрос, во что проще всего обернуть програмульку не большую, что бы закинуть ее на сервер?

Всем привет, есть вопрос, во что проще всего обернуть програмульку не большую, что бы закинуть ее на сервер?

tar.gz

Привет всем. Как найти последнее уникальное значение списка?

a = set(list((1,2,4,5,6,6))) print(list(a)[-1])

a = set(list((1,2,4,5,6,6))) print(list(a)[-1])

тогда он напишет 6, что не будет «последним уникальным», нет?

sort забыл

это просто не работает на самом деле

Вообще в этом случае стоит читать построчно, и запоминать последнюю запись про логин, т.к. лог идет в хронологическом порядке.

Иначе при логах в несколько гигабайт можно память забить

/uptime

/uptime

зачем это?

/offtop

/IQ_Test

Ваш IQ равен 150

/IQ_Test

Ваш icq равен 152

/IQ_Test

/IQ_Test

не прошли тест

Ваш IQ равен 100500

До сих пор не пойму смысл этой хуйни, всё равно бедбойз через рандом вафли и левые сим сидят. Ловить васянов?

конечно

Там выше был вопросик про последний уникальный

мой icq 9372245?

А что, если filter(lambda x: list.count(x)==1, list)[-1]

Вроде красиво, но хз че по быстродействию

/offtop