Видел даже сервис в котором это использовалось

А вот насчёт ссылок на инстансы сабклассов я погорячился, надо пилить classmethod

А вот насчёт ссылок на инстансы сабклассов я погорячился, надо пилить classmethod

Все подумали, что ты писал про то, что этот метод возвращает объекты классов, а не экземпляры.

По крайней мере в чате :)

ссылки на экземпляры потомков из родительского класса - это как-то не очень. Почему он вообще должен об этом знать?

ссылки на экземпляры потомков из родительского класса - это как-то не очень. Почему он вообще должен об этом знать?

вдруг вечером захочеться написать свой isinstance

Экземпляры - нет. Классы - да.

вдруг вечером захочеться написать свой isinstance

Там кстати есть методы __subclasscheck__ и __subclasshook__ для настройки поведения issubclass, но они вроде как-то завязаны на abc. В общем, странные вещи...

Там кстати есть методы __subclasscheck__ и __subclasshook__ для настройки поведения issubclass, но они вроде как-то завязаны на abc. В общем, странные вещи...

всмыыыысле странные

всмыыыысле странные

Что, часто этим пользуешься?

недавно, у меня была ситуация по перехвату Exception, когда надо было перехватывать родительские ошибки и оборачивать, а детей не трогать. что-то такое: class A(): pass class B(A): pass b = B() isinstance(b, A) # True b.__class__.__name__ != A.__name__ # False Сделал не очень красиво: exception.__class__.__name__ in tuple(filter(lambda elem: elem[0].isupper(), dir(exceptions))) # Где exceptions модуль с род. классами Искал варианты получше, пока искал накнулся на .__subclasses__() и __subclasshook__ ()

недавно, у меня была ситуация по перехвату Exception, когда надо было перехватывать родительские ошибки и оборачивать, а детей не трогать. что-то такое: class A(): pass class B(A): pass b = B() isinstance(b, A) # True b.__class__.__name__ != A.__name__ # False Сделал не очень красиво: exception.__class__.__name__ in tuple(filter(lambda elem: elem[0].isupper(), dir(exceptions))) # Где exceptions модуль с род. классами Искал варианты получше, пока искал накнулся на .__subclasses__() и __subclasshook__ ()

На самом деле это решается проще. Просто надо взять за правило, что в каждом модуле должен быть объявлен тип ошибок этого модуля. Все ошибки в этом модуле должны быть наследованы от этого класса. Тогда ты можешь и перехватить все ошибки из конкретного модуля либо еще более конкретные ошибки в нем.

На самом деле это решается проще. Просто надо взять за правило, что в каждом модуле должен быть объявлен тип ошибок этого модуля. Все ошибки в этом модуле должны быть наследованы от этого класса. Тогда ты можешь и перехватить все ошибки из конкретного модуля либо еще более конкретные ошибки в нем.

пакете?

ну да, по уровням как бы

тогда просто не придется эти обходные пути писать имхо

Вряд ли в моем случаем это было пременимо: внешняя либа social-auth-core==1.2.0 у неё есть модуль exception, ошибки там с описанием на английском. другая либа наследует ошибки от social-auth-core и пишет там свои сообщения с поддержой интернализации, а мне надо сделать джанговскую middleware, где первые мне надо обернуть для интернализации, вторые пропустить как есть и по идеи не завязываться на список вторых. Но спасибо за поддержку.

Как обычно, все сложнее, пожалуйста)

Странное решение с переводом ошибок. Разве правильно сами исключения переводить? Может, надо где-то ближе к выводу обрабатывать тексты ошибок?

Странное решение с переводом ошибок. Разве правильно сами исключения переводить? Может, надо где-то ближе к выводу обрабатывать тексты ошибок?

Тоже такая мысль возникла,

Странное решение с переводом ошибок. Разве правильно сами исключения переводить? Может, надо где-то ближе к выводу обрабатывать тексты ошибок?

middleware от social auth перехватывает ошибки и отправляет их messages django, надо было ловить до, имхо не стоит заморачиваться - я просто хотел написать про .__subclasses__()

Всем привет. Кто может поругать конфу или ткнуть в документацию. Есть некий спайдер - хотим взять scrapy, бежит примерно по 1млн ресурсов. Складывает все в csv распределенно, первичные ключи - uuid. Потом из csv уже по celery подбираются данные в Postgres. Ну и поверх всего этого дела живет sphinx, тк нужна русская морфология.

Всем привет. Кто может поругать конфу или ткнуть в документацию. Есть некий спайдер - хотим взять scrapy, бежит примерно по 1млн ресурсов. Складывает все в csv распределенно, первичные ключи - uuid. Потом из csv уже по celery подбираются данные в Postgres. Ну и поверх всего этого дела живет sphinx, тк нужна русская морфология.

Ну я как-то раз использовал scrapy, мне лично очень понравилось. Просто, понятно, быстрый результат, встроенные механизмы по обходу блокировок на сайтах, удобный API. Что на твой взгляд лично тебя смущает в твоем решении? (из твоего вопроса непонятно, что конкретно требуется от сообщества)

Всем привет. Кто может поругать конфу или ткнуть в документацию. Есть некий спайдер - хотим взять scrapy, бежит примерно по 1млн ресурсов. Складывает все в csv распределенно, первичные ключи - uuid. Потом из csv уже по celery подбираются данные в Postgres. Ну и поверх всего этого дела живет sphinx, тк нужна русская морфология.

здравствуйте, меня зовут js

> из csv уже по celery подбираются данные в постгрес зачем так?

почему сразу не положить куда-то нормально, например в nosql?

почему сразу не положить куда-то нормально, например в nosql?

пачками быстрее должно быть

Всем привет. Кто может поругать конфу или ткнуть в документацию. Есть некий спайдер - хотим взять scrapy, бежит примерно по 1млн ресурсов. Складывает все в csv распределенно, первичные ключи - uuid. Потом из csv уже по celery подбираются данные в Postgres. Ну и поверх всего этого дела живет sphinx, тк нужна русская морфология.

https://www.asus.com/ru/

например, как вы оттуда вытащите список всех их продуктов? )

пачками быстрее должно быть

Ну так делайте пачками, но не через csv же

Ну так делайте пачками, но не через csv же

постгресу нравится csv

Ну так делайте пачками, но не через csv же

я не автор, не знаю их мотивацию предполагаю

почему сразу не положить куда-то нормально, например в nosql?

Sphinx нынче нормально с nosql умеет?

Ну я как-то раз использовал scrapy, мне лично очень понравилось. Просто, понятно, быстрый результат, встроенные механизмы по обходу блокировок на сайтах, удобный API. Что на твой взгляд лично тебя смущает в твоем решении? (из твоего вопроса непонятно, что конкретно требуется от сообщества)

смущает то что, скрапи не натравливал на большое кол-во сайтов и как в куче оно будет масштабироваться, могу только на синтетике посмотреть. Поэтому хочется узнать у кого есть живой опыт и как оно правильнее.

https://www.asus.com/ru/

дык не весь тырнет сканировать, специализированная задача, не стоит пока тема обхода или js парсить

почему сразу не положить куда-то нормально, например в nosql?

mongo ?

была идея без scrapy, через ayncio + uvloop, но опять же времени на эксперементос не так много. Тем более я слышал в каких билетных сайтах неплохо scrapy вошел, может и не надо велосипедить...

смущает то что, скрапи не натравливал на большое кол-во сайтов и как в куче оно будет масштабироваться, могу только на синтетике посмотреть. Поэтому хочется узнать у кого есть живой опыт и как оно правильнее.

Для меня при таком масштабе ресурсов важны были бы следующие критерии: - отказоустойчивость механизма (например, запуск джобов из jenkins вместо одного скриптика) - прямая связь с БД - отказ от файлового хранилища - параллельность - считаю, что для этой задачи подойдет и mysql (проект простой - бд подойдет простая) - зачем что-то еще выдумывать. - независимость запросов (нельзя, чтобы упал твой скрипт и вся работа остановилась). что-то типа того.

БД - это постоянное хранилище, csv для быстрого импорта, celery это как раз для того чтобы не свалить базу, не спеша в очередь поставил задачи и пусть там импортит а так для фронта все будет крутиться на sphinx по идее

Сфинкс это что

двигло поисковое

Ммм

по сравнение с elastic раза в 3 быстрее индексирует с 0

Не генератор доки, да?)

нет )

Не генератор доки, да?)

http://sphinxsearch.com/

вали в еластик)

но такой тоже есть

вали в еластик)

так же по api будешь забирать, как со сфинксом

запихивать в сфинкс быстрее

beep beep ima sheep

вот мне и встретился в коде утренний сабж

опа, и ещё раз

кукой ужос.

кукой ужос.

В итоге так лучше не делать?

Не знаю

Наверное смотря для чего.

Ок.

То есть можно выполнять общий код не регистрируя сабклассы где-то

удобно же

дык не весь тырнет сканировать, специализированная задача, не стоит пока тема обхода или js парсить

Она очень быстро нарисуется

была идея без scrapy, через ayncio + uvloop, но опять же времени на эксперементос не так много. Тем более я слышал в каких билетных сайтах неплохо scrapy вошел, может и не надо велосипедить...

Не надо вам uvloop

ну scrapy-splash впендюрить можно будет

если про рендеринг js

ну scrapy-splash впендюрить можно будет

оно хреново работает =(

согласен, но phantomjs тоже не очень

что нибудь чтобы яростно масштабировалось не видел

согласен, но phantomjs тоже не очень

headless chrome вроде выкатили недавно, он подходит для такого?

да слышал, но еще не крутил

постгресу нравится csv

А IO под постгресом от CSV дохнет

смущает то что, скрапи не натравливал на большое кол-во сайтов и как в куче оно будет масштабироваться, могу только на синтетике посмотреть. Поэтому хочется узнать у кого есть живой опыт и как оно правильнее.

Я слышал, что оно с celery неплохо работает

ну тут еще думали насчет mariadb, вроде отзывы положительные все равно какое-то хранилище должно быть

как думаете, можно еще как-то упростить функцию partitions? https://stackoverflow.com/a/44209393/847552

как думаете, можно еще как-то упростить функцию partitions? https://stackoverflow.com/a/44209393/847552

можно попробовать деление на два заменить на сдвиг

можно попробовать деление на два заменить на сдвиг

спасибо, правда разницы не видно + скобки нужно добавлять

ну тут еще думали насчет mariadb, вроде отзывы положительные все равно какое-то хранилище должно быть

Если MySQL, то только Maria

Если MySQL, то только Maria

Другое дело, что Машка - так себе SQL, все равно

Сергей, что вы имеете в виду?

почему не Маша?

поддерживаю тред

почему не Маша?

Маша - красивая элегантная девушка, а Машка - подзаборная кошка, которую случайным образом кормят

Но они стараются лучше Oracle, это да

Маша - красивая элегантная девушка, а Машка - подзаборная кошка, которую случайным образом кормят

Какой сексизм

Какой сексизм

Спасибо;)

ребят, а есть в телеграме чатик, где можно вопросы по питону задавать?)

ребят, а есть в телеграме чатик, где можно вопросы по питону задавать?)

https://t.me/ru_python

да и тут, вроде, вопросы задают

https://t.me/ru_python

Спасибо)

не за что

да и тут, вроде, вопросы задают

у меня, наверно, вопрос дурацкий, но я попробую) Ситуация: определяем функцию fun(a, b), в ней заводим numpy двумерный массив my_array([c, d]) , внутри этой функции определяем ещё функцию sub_fun (g, f). Вопрос: можно ли из внутренней функции sub_fun() обращаться на чтение и запись к массиву my_array (то есть по ссылке)? Если можно, то как? У меня не получается :( Однако, если вместо функции fun() описать её просто как программу (и my_array определять тут), и внутри этой программы описать одну функцию — sub_fun(), то из неё можно обращаться к my_array (по ссылке, то есть чтение и запись идут именно во внешний массив my_array).

Покажи код. То, что ты написала - это замыкание, почему нельзя? def fun(): arr = np.array([1,2,3]) def sub_fun(): arr[0] = 10 sub_fun() print(arr) И что тут может не работать?

да, такое лучше кодом спрашивать @diasi - быстрее получишь ответ https://stackoverflow.com/help/mcve, если не видела

пробовала вот так, не работает, как нужно (не верный результат): https://pastebin.com/4L5BUUu2