Pavel
кстати, есть какие php библиотеки для парсинга?
Парсинг и php дело не совместимое, почти везде, что часто парсят стоят защиты, а значит самый лучший выход - эмулировать браузер
Pavel
А потом?
А потом получишь капчу в лучшем случае, бан на пол часа в худшем
Pavel
вот на nodejs есть x-ray, он в пагинацию умеет. на php бы что-то подобное
Не знаю за nodejs, делал на го, в несколько потоков, запускал несколько физических браузеров в hedless режиме и работал уже непосредствено с API хрома
Алексей
Значит мобильную проксю приватную купим)
Алексей
Там ip общий)
Pavel
Там ip общий)
Ты как будто бы из 2007го, банят уже давно не по ip а по цифровому отпечатку
Pavel
Но удачи, расскажешь если получится, но на 90% уверен что не получится
Pavel
Не знаю за nodejs, делал на го, в несколько потоков, запускал несколько физических браузеров в hedless режиме и работал уже непосредствено с API хрома
К слову из плюсов такого подхода, можно было в любой момент получить "изображение" того, чем сейчас занят каждый их хромов, у хрома прям в API есть получение скриншота, и у нас была веб морда, где по кнопочке можно было получить актуальный скриншот каждого из потоков, очень удобно и на удивление по ресурсам не слишком энергозатратно, в районе 4гб жрало приложение в 7 потоков
ᛟᛗᛖᚾ
можно, в документации есть)
Спасибо, почитал повнимательнее - получилось)
Pavel
Значит мобильную проксю приватную купим)
еще из советов, шанс схватить бан гораздо ниже, если у тебя есть уже хоть какой то цифровой отпечаток, для этого достаточно заходить на циан не напрямую, а например, через запрос в гугле
Roman
Парни скажете, как сделать переоценку в корзине. Попробовал сделать по этому коду. Вроде бы все логично, но какая-то чехорда получается. https://modx.pro/solutions/20218 Про обновлении страницы сначала скидка, если еще раз обновить, но уже нормальная цена.
Nano.Karmabot.chat
Excellent! smialexby got +1 from ibochkarev. 131 karma in total.
Pavel
Парни скажете, как сделать переоценку в корзине. Попробовал сделать по этому коду. Вроде бы все логично, но какая-то чехорда получается. https://modx.pro/solutions/20218 Про обновлении страницы сначала скидка, если еще раз обновить, но уже нормальная цена.
Если очень в тупую и просто, делал так: После переоценки аяксом делал запрос на эту же страницу, вытягивал из дивов нужные значения и вставлял в "текущую" страницу, костыльно, тупо, но работало
Roman
Мне прямо без обновлений и не нужно, почему-то в моем примере выскакивает скидка на цену. Я так понимаю что это связано, как-то с ключом, который формируется.
Алексей
Возникла странная идея — скрестить Laravel и MODX. Либо использовать общую базу, либо чтоб общались через api. MODX — для менеджеров, чтоб была привычная им админка. Laravel для бэка. Постепенно можно и админку переписать. Насколько идиотская идея?)
Roman
спасибо за ссылку, мне как раз сейчас то же самое нужно)
За ссылку пожалуйста, только я пока сам не могу понять, почему так не корректно работает. =)
Алексей
Не у вас одного возникает этот вопрос. Другое дело зачем? https://github.com/rvanmarkus/modx-laravel-models
на linux.org.ru есть хэштэг «хочется странного». думаю он тут идеально подходит) вообще хотелось бы что-то новое поизучать, но чтоб конкретные задачи делать, а не просто для себя. по ссылке не совсем то, там только ORM. кстати хотел её прикрутить чтоб вместо xpdo использовать для кастомных таблиц, ибо в xpdo надо схемы создавать, а в eloquent нет)
Алексей
возьмите evolution CMS там как раз все так как хотите )))
там даже документации нет для новых версий)
Алексей
Не у вас одного возникает этот вопрос. Другое дело зачем? https://github.com/rvanmarkus/modx-laravel-models
ответ на вопрос зачем — для сложных высоконагруженных сайтов. правда редко такие приходится делать
Алексей
столько еще готового кода не написано для MODX...
Алексей
придумай какой-то функционал для ПАКЕТА и попробуй выложить его платно. И стимул и польза и не просто для себя. Например, альтернативный магазин или клиент-конфиг или баннеры.... )))
магазин делал (и он даже работает)), решили всё же перейти на минишоп. а зачем, в чём минусы минишопа? а клиент конфиг зачем? есть же
Pavel
ответ на вопрос зачем — для сложных высоконагруженных сайтов. правда редко такие приходится делать
И как использование другой орм поможет делать высоконагруженные сайты? А pdoTools зачем тогда?
Павел
ты либо смотришь в одну и ту же базу и имплементируешь все процессоры modx а уровне laravel (могу пожелать удачи в этом) либо же ты организуешь API между бэкофисом (modx) и фронтом (laravel) тут собственно тоже могу пожелать удачи
Алексей
И как использование другой орм поможет делать высоконагруженные сайты? А pdoTools зачем тогда?
> pdoTools зачем тогда? pdoPage долго работает. на одном сайте, где 100000 товаров, переделал на xpdo — стало раз в 10 быстрее я не только про orm, а вообще про весь бэк на ларе)
Евгений
ну я бы глянул код
Павел
pdotools использует xpdo, как он может быть быстрее или медленее?
Алексей
Ну это что то у тебя не то с конфигом pdoTools, не может переписывание на xpdo работать быстрее pdoTools )
Но работало быстрее) Сайт не я делал, может действительно с конфигом что-то не то
Pavel
pdotools использует xpdo, как он может быть быстрее или медленее?
Для построения запроса он не использует xpdo, только для получения идентификаторов
Pavel
Насколько я помню
Алексей
Павел
xpdo это орм для работы с бд в modx, pdotools просто работает на массивах вместо объектов
Павел
вы че0
Павел
пойду посмотрю
Pavel
Пойду гляну на гитхабе, я не видел исходников pdoTools уже несколько лет
Евгений
Павел vs Pavel
Павел
Pavel wins
Павел
он действительно не использует объекты xpdo
Павел
он работает с БД напрямую
Павел
тогда каким образом xpdo может быть быстрее мне чисто интересно
Pavel
он действительно не использует объекты xpdo
Но использует такое количество api вызовов и такой жуткий говнокод что там можно оптимизацией на процентов 30 точно ускорить
Павел
бля ладно глянул buildModernPagination
Павел
там действительно ужас происходит
Алексей
За ссылку пожалуйста, только я пока сам не могу понять, почему так не корректно работает. =)
не разобрался ещё? вот рабочий код case 'pdoToolsOnFenomInit': if ($modx->resource->alias == 'cart') { $miniShop2 = $modx->getService('minishop2'); $miniShop2->initialize(); $cart = $miniShop2->cart->get(); foreach ($cart as $key => &$item) { $q = $modx->newQuery('msProductData', [ 'id' => $item['id'], ]); $q->select('price'); $price = $modx->getValue($q->prepare()); $item['price'] = $price ?: 0; $modx->log(1, print_r($price, 1)); } $miniShop2->cart->set($cart); $modx->log(1, print_r($cart, 1)); } break;
Павел
ну тут типа замкнутый круг pdopage делался как поддержка "wayfinder" или как там назывался старый пакет для меню из-за этого там жопа
Павел
и если делать в pdopage вменяемую совместимость, то там все равно будет +- тот же ужас
Павел
я вот уже не помню по какой причине я никогда не использовал pdomenu, но возможно по этой самой
Roman
Каждая строка это F5
Павел
возможно что-то сломалось в минишопе с тех времен, без понятия
Павел
OnWebPagePrerender в любом случае отработает хоть 600 раз страницу обновляй
Павел
ровно как назначение корзины
Roman
Да, он отрабатывает. Но почему-то при втором обновлении цена становится такой, какой нужно.
Алексей
Получается дело в кэше?
не знаю) просто события перебирал, искал при котором работает)
Алексей
Выше писали про сделать альтернативный магазин. А он нужен кому-то? У меня есть, но допиливать надо. Там есть корзина и админка на vue, фильтры, избранное, скидки, добавление доп. полей в заказ
Алексей
Ну, язнаю софт для подделки принтов, обойти это смогу, но это время и бюджет
Алексей
Просто софт этот на js
Алексей
Я поведенческие факторы ранжирования крутил на Яндексе. Даже пороги фильтров вычислил;) это экономически не выгодно просто!
Алексей
Там нейронка вычисляет движения мышкой. Это сильная нагрузка на сервер с ботами
Алексей
Потому там пачка движений в записи