+ Спасибище большое за пример! Сделал как у вас, без задания заголовков и с urlencode, все стало хорошо :)
Там для бесплатного ключа вроде лимит на 1000 запросов в сутки только ) причем суммарно с панорамами, после чего они вырубают ключ даже для показа карты )))
Aliaksandr
Serguei
Там для бесплатного ключа вроде лимит на 1000 запросов в сутки только ) причем суммарно с панорамами, после чего они вырубают ключ даже для показа карты )))
Все предусмотрено - данные кеширую в базе на 30 суток ;)
Aliaksandr
Там просто был сайт недвижки и они как добавили тысяч 20 домов минска, то потом пришлось больше месяца кроном добивать их координаты, чтоб в лимиты влезть и еще карту показывало ))
Pathologic
могли бы уже и заплатить за апи
Aliaksandr
Ну пока петух не клюнет - мало кто шевелится. Чисто по карте там вроде 100К запросов им хватает. А вот когда такие массовые опросы или потом панорамы внедряли, то вроде и могли бы заплатить, а вроде если и так норм, так зачем платить ))
Pathologic
так по факту все равно заплатили 🙃
Pathologic
это типа как парсить с сайта поставщика, а потом оказывается, что у поставщика есть yml, но стеснялись спросить
Aliaksandr
Ну это да
Alexander
это типа как парсить с сайта поставщика, а потом оказывается, что у поставщика есть yml, но стеснялись спросить
а научи парсить с сайта поставщика
Aliaksandr
Сейчас что-то кластеризация на 5К начала немного подтормаживать при масштабировании. Хз, то ли яндекс ненавязчиво намекает, что пора, то ли мои руки кривые накосячили где-то)) пока валю на яндекс бесплатный)))
Aliaksandr
Или берешь питонщика и он пишет парсер на питоне ))
Pathologic
да, на пхп печально парсить
Aliaksandr
Я вроде таким https://github.com/Imangazaliev/DiDOM херачу, когда надо
Alexander
я уже на гите ага
Pathologic
я тоже дидомом парсю 🙃
Pathologic
потому что там потоки всякие
Alexander
ааааа
Alexander
а как спарсить весь каталог если оно все по дохера страницам раскидано?
Pathologic
ну вот так и спарсить
Pathologic
каждую страницу
Aliaksandr
Ну на питонах мне яндекс.маркет парсят с отзывами. Для простых сайтов хватит и пхп
Alexander
ипать
Aliaksandr
Парсишь сначала список, с него товары постранично, а как ты хотел?))
Pathologic
порой спасает сеошная придурь типа кнопки "показать все"
Alexander
а может sitemap открыть и от него уже как то отталкиваться
Aliaksandr
Часто карта сайта есть, оттуда - но там часто проблемы с вложенностью
Pathologic
а как ты в сайтмапе определишь, где товар, где не товар
Aliaksandr
Хотя по иерархическим урлам можно потом раскидать
Pathologic
да и в большом каталоге может не быть товаров в сайтмапе
Alexander
вот да
Aliaksandr
Не ну бывают же там всякие выгрузки в yml или на локальные плейсмаркеты типа "куфар"
Pathologic
ну тогда и парсить не нужно
Aliaksandr
Но это чисто вариант сбора ссылок, потом же в любом случае старый добрый file_get_contents в деле )))
Aliaksandr
Короче любимая тема "парсер/импорт под задачу")))
Pathologic
а еще бывают кривые сайты, где часть товаров будет с другой версткой
Alexander
то есть я этот дидом запускают по поределенному списку урлов и результат куда то в файл пишу?
Pathologic
а сразу и не поймешь
Pathologic
или какой-нибудь тупорылый антиддос
Aliaksandr
Зачем в файл, сразу модхапи в базу и пишешь
Alexander
Зачем в файл, сразу модхапи в базу и пишешь
ну мне сразу не надо. мне посмотреть поглядеть) потом может и азпишу
Aliaksandr
Собрал в списке товаров названия и ссылки на все товары. Потом пошел лопатить каждую ссылку на описание, картинки и т.п.
Pathologic
последний раз я парсил, так там и без парсинга сайт не спешил совсем страницы отдавать
Aliaksandr
ну мне сразу не надо. мне посмотреть поглядеть) потом может и азпишу
Так погляди методом echo ))
Pathologic
но там хоть не нужно было отдельно каждую страницу товара парсить
Pathologic
в общем каждый раз импорт/парсер оказывается с какими-то приколами
Aliaksandr
А я парсил, мне клялись, что там иерархическая структура, а через 2 месяца прилетел их сеошник со страшным криком "дууублиии" и оказалось, что там мультикатегории)))
Am
Есть желание научиться парсить - берем Али и учимся. Масса впечатлений! (:
Pathologic
али и так рептилоиды делали, там без парсинга впечатления
Am
Какое ТЗ такой и результат. (((%
Pathologic
скорее не тз, а доработки ради доработок
Am
Насколько за последние три года плотной работы с ним могу судить там скорее всего именно ТЗ и развитие. Внедряют защиту от парсинга постепенно, следуют за технологиями - идут в моб.устройтства и т.д. Делают АПИ чтобы не скрапили, а платили деньги и получали товар. Много у них там интересных идей есть, как по мне.
Pathologic
еще бы что-то делали с продавцами-мошенниками
Am
Да и такие огромные системы не могут иначе - развитие постепенное.
С мошенниками на внешнем рынке борются, только и это не особо нам заметно, т.к. охват маленький для обычного пользователя. Представляю сколько там могло быть мошенников не борись они с ними. ((%
Anonymous
Как в DLMenu вывести только тех у кого заполнено menutitle? Вывожу но выводятся также и пустые LI
EVO bot Лёшка
Как в DLMenu вывести только тех у кого заполнено menutitle? Вывожу но выводятся также и пустые LI
https://docs.evo.im/04_extras/dlmenu.html
Volodymyr
Vitaliy
Anonymous
Вопрос не много в дургом. Я в шаблоне прописала menutitle только для тех кто должен вывестись. но выводятся и те у которых menutitle не заполнен. я хотела бы выводить только у тех кто выводит
Aliaksandr
Ох уж эти вопросы "у меня не работает код, но я вам его не покажу")))
Alexander
Вопрос не много в дургом. Я в шаблоне прописала menutitle только для тех кто должен вывестись. но выводятся и те у которых menutitle не заполнен. я хотела бы выводить только у тех кто выводит
Для этого есть галочка «показывать в меню».
Из документации «По умолчанию выполняется сортировка по возрастанию значения поля menuindex, документы с hidemenu=1 не выводятся.»
Eugene
А где можно почитать, как после роутинга в файле routes.php
вставить что-то или направить куда-то, как я слышал можно туда вставить некий миддлваре, в котором я могу указать другие настройки, параметры и переменные.
Чтобы потом основной мой движок и набор функций, условно говоря обращался к другим таблицам, ip-адресам и удалённым серверам.
Как это всё волшебным образом организовать?! Чтобы не плодить копии файлов и потом не запутываться в функциях.
Спасибо.
Alexey
Вопрос не много в дургом. Я в шаблоне прописала menutitle только для тех кто должен вывестись. но выводятся и те у которых menutitle не заполнен. я хотела бы выводить только у тех кто выводит
Тебе же Владимир ответил - &addWhereList=c.menutitle!="" - выведутся только те, в которых menutitle не пустота
Eugene
А где можно почитать, как после роутинга в файле routes.php
вставить что-то или направить куда-то, как я слышал можно туда вставить некий миддлваре, в котором я могу указать другие настройки, параметры и переменные.
Чтобы потом основной мой движок и набор функций, условно говоря обращался к другим таблицам, ip-адресам и удалённым серверам.
Как это всё волшебным образом организовать?! Чтобы не плодить копии файлов и потом не запутываться в функциях.
Спасибо.
Что собственно я хочу сделать в коде. Прошу подсказать.
Есть два разных Route::post
Надо, чтобы сначала вызвался контроллер или ещё кто, в котором задаются параметры, например, $bot = 'bot1'
а во втором Route::post задаётся $bot = 'bot2'
И потом оба роутинга направляются в единый контроллер TelegramBotController@tBot
Как это сделать? Подскажите пожалуйста.
Am
Что собственно я хочу сделать в коде. Прошу подсказать.
Есть два разных Route::post
Надо, чтобы сначала вызвался контроллер или ещё кто, в котором задаются параметры, например, $bot = 'bot1'
а во втором Route::post задаётся $bot = 'bot2'
И потом оба роутинга направляются в единый контроллер TelegramBotController@tBot
Как это сделать? Подскажите пожалуйста.
На роуты можно вешать миддливары. В миддлваре ловите нужные данные и делайте что нужно.
Михаил
типа такого
Route::post('bot/{bot}, 'TelegramBotController@tBot');
Eugene
типа такого
Route::post('bot/{bot}, 'TelegramBotController@tBot');
а где и как мне прописывать этот {bot}? В каких-то файлах? Или надо что-то доустанавливать через artisan?
Михаил
в custom/routes.php
Михаил
Можно перед этим еще ограничить значения через Route::pattern
Am
Вы чего-то не совсем понимаете.
"И потом оба роутинга направляются в единый контроллер TelegramBotController@tBot" (с)
Роуты вызываются один за другим и обрабатываются так же. Вы можете собрать результат и что-то с ним сделать.
Михаил
а в контроллере получать так: public function tBot($bot)
Eugene
да. я в ларавель не очень вкуриваю.
я вычитал в доках на ларавель такое:
Делаю два роутинга:
Route::post('bot1', 'EvolutionCMS\Main\Controllers\TelegramBotController@tBot')->middleware('bot1vars');
Route::post('bot2', 'EvolutionCMS\Main\Controllers\TelegramBotController@tBot')->middleware('bot2vars');
не улавливаю, где мне ловить и куда кодить этот ->middleware('botXvars')
Am
Версия ларавель какая?