врезаться?

проще делать)

ггг

не украдут

?

на самом деле-струя точнее

фокус при метании воды))

ну и черпать песок проще

это как большой кулек для семечек

Как парсит то что плохо парсится()

не парсить

это правильный ответ!

регекспом, back to the oldschool

ну пержде чем регекспом дотянутся

надо стянуть себе, а там нормальная защитка от масс проходов

маскировки и т.д фигня

а дай линк

на что?

на то что парсишь)

да я пока не парсю, просто было дело-авто ру

еще тор сети полезно юзать для парсинга

так вот там таймауты и прочаяя дрянь-скорости никакой с ним, а без неё-бан

вообще забавное это дело

тор сети не юзал

а она чтодаёт?

в данном случае

пфф, миллионы проксей + тор, + эмуляция юзера по всяким кукам и юзер агентам

ну так миллион проксей

и пусть они выяснят что это один и тот же клиент парсит)

они же платные

куча бесплатных есть

ну видимо единственный выход такой

потому что с одного айпи-трудновато было

ну с одной и не очень то безопасно)

особенно если это делаешь с сервера

а дай линк

поможешь если что?)

а что там линк, авто ру и авиты вроде одни)

а что за маскировка?

да я просто курлом

прикидывался не очень удачно бразурером

самая страшная защита это когда ресурс сделан через жопу) ну там возвращаются результаты в виде джаваскрипта, в нем зашиты в переменных данные, которые по нему размазаны и чтобы это дело спарсить, нужно поднимать js движок и все это собирать до кучи

а это головняк ппц

у меня знакомые парсили конкурентов, а те спалили и стали цены им подсовывать фейковые ? заметили через пару недель только

лол

самое сложное это защита от парсинга

когда тебя и гугл должен уметь хавать

а всякие уебки должны сосать жопы

кто как защищается от скрейпинга?

самая страшная защита это когда ресурс сделан через жопу) ну там возвращаются результаты в виде джаваскрипта, в нем зашиты в переменных данные, которые по нему размазаны и чтобы это дело спарсить, нужно поднимать js движок и все это собирать до кучи

V8js же решает эту проблему. На pravo.ru - чтобы скачать файлы дела - нужно сделать post-запрос, csrf которого рассчитывается javascript'ом.

Не защищаемся.

https://github.com/symfony/symfony/pull/18193 омг

Найс же, не?

ну в целом норм) правда я до сих пор скептически отношусь к getter injection

для многих это будет магией

а где там getter injection?

глянь исходники трейта

protected function getRouter(): RouterInterface + { + }

Мдаа, ну да, это странная штука

а до сих пор не понимаю как это работает

бгг

ну там делается на этапе сборки прокся

в нее пихается контейнер

а до сих пор не понимаю как это работает

генерится класс-наследник

мдааа....

и переопределяются все методы которые геттеры

и начинают отдавать то что в контейнере

мдааа....

ну тип это lazy для тех кто не хочет ставить proxy generator

ERROR: S client not available

но! это шаг к AOP в симфони

раз начали абузить прокси

хз, мне кажется это перебор

тестить такие классы не очень удобно

вообще getter injection вроде помечен как эксперементальный и если че его выпилят

хз, мне кажется это перебор

не перебор а компромис

мне больше нравится фича с частичным контейнером

мне больше нравится фича с частичным контейнером

ну тип относительно вменяемый сервис локатор?)

как в ларавели можно будет

угу

когда там уже третья доктрина...

мне иногда кажется что на нее забили)

мне иногда кажется что на нее забили)

ну не сказал бы

там чет активно пилят

просто я чего не пойму - они как-то там по хардкору пилят

1 чувак пилит

ну да

там PR на выпиливаени merge/detach чет как-то сиииильно жирный

я тут потыкал исходники доктрины, попробовал порасширять DQL

тяжко это

мне реально больше нравится уже идея сделать сэт утилит для того что бы помочь кастомные гидраторы писать

ыы, у нас есть свой гидратор тоже

а чем он отличается?

ну мол для одной специфичной выборки или один для набора выборок?

https://gist.github.com/enleur/ba069a5d8ca05e566be53e9515b3fe19

тем что он отдает непосредственно то что вернул pdo, только имена полям меняет на те что были в запросе

ясн

тут недавно задачка была. выбрать из базы 15 тыс записей, просчитать к каждой гео дистанцию, потом сделать группировку, сортировку ну и там еще немного процессинга. на пхп это все дело занимало ~8 секунд заменили гидратор на кастомный, сразу до 3.5 упало. из них 600мс это сама выборка + передача по сети, т.е оверхед пхп почти 3 секунды?

а я бы делал это в базе(

кое-как выкрутились запросом на мускуль. а потом сделал все тоже самое только на jvm. все те же вычисления проходили за 2мс и мне стало грустно

кое-как выкрутились запросом на мускуль. а потом сделал все тоже самое только на jvm. все те же вычисления проходили за 2мс и мне стало грустно

у меня эластика кластеризацией занимается

ST_DISTANCE в марье кстати считает не точно, как оказалось