Anonymous
https://github.com/Imangazaliev/DiDOM
Anonymous
самая быстрая на php
Евгений
то есть html парсить а не апи, да?
Anonymous
да
Anonymous
1 раз
Евгений
понял
Anonymous
а потом на ресте все будет
Евгений
ну так то мне не обязательно прям все все вакансии, мне надо сделать агрегатор вакансий с разных сайтов
Евгений
по сути можно только часть брать с hh
Evgeny
а hh не скажет "что то ты дофига страниц просмтариваеш в секунду, дам ка я тебе бан на ip на 30 лет" ?
Anonymous
ну если агрегатор вакансий то зачем тебе больше 2к? Разве их там так много
Anonymous
тебе нужны самые новые
Anonymous
я делал по вк агрегатор
Anonymous
аналог https://vk.com/shikari_it
Anonymous
так шо не понимаю зачем тебе старые вакансии
Anonymous
а hh не скажет "что то ты дофига страниц просмтариваеш в секунду, дам ка я тебе бан на ip на 30 лет" ?
Если делать демона, а не по крону каждую секунду парсить - то не скажет)
Anonymous
т.е нужно "сидеть" на сайте все время, а не заходить на него каждую секунду или минуту
Evgeny
еще и куки сохранять
Evgeny
наверное
Евгений
ну если агрегатор вакансий то зачем тебе больше 2к? Разве их там так много
много, за последний месяц больше 50к точно
Anonymous
в день
Евгений
ладно, буду парсить тогда малую часть самых свежих
Евгений
просто мне чем больше страниц на сайте тем лучше по идее, там под сео будет
Anonymous
у них же есть приложения для андроида?
Anonymous
ну так
Anonymous
изи
Anonymous
же
Anonymous
деабфуксируй его
Anonymous
в нем найдешь ключи
Anonymous
для api
Anonymous
я так для авито делал
Anonymous
я думаю у них там нет таких ограничений
Anonymous
на свое мобильное приложение
Anonymous
_
Anonymous
)
Евгений
ну это слишком геморно для моей мини задачи)
Евгений
на данном этапе
Anonymous
точнее зачем деабфуксировать, просто посмотри куда запросы шлют и получишь все данные
Anonymous
я ж типа не со зла)
Юрий
а hh не скажет "что то ты дофига страниц просмтариваеш в секунду, дам ка я тебе бан на ip на 30 лет" ?
берешь список открытых прокси, ставишь таймауты запросов гуляющие. ходишь по дереву не подряд, а как человек - выходя на верхний уровень и т.д.
Евгений
блять, почему file_get_contents дает 400 ошибку...
Евгений
курлом сделал
Igor
Господа поделитесь опытом. Socialita + SPA application
Igor
Socialite*
Igor
как без сессий подружить
Евгений
так блять, вот я скриптик накидал который получает огромный список вакансий из поиска по апи, но там нет описаний вакансий и тд, только короткий сниппет, а описание вакансии уже можно достать другим методом, но этож пипец шагать по всем вакансиям и парсить так... хотя наверно и сниппета достаточно будет
Юрий
так блять, вот я скриптик накидал который получает огромный список вакансий из поиска по апи, но там нет описаний вакансий и тд, только короткий сниппет, а описание вакансии уже можно достать другим методом, но этож пипец шагать по всем вакансиям и парсить так... хотя наверно и сниппета достаточно будет
а ты парсишь текст из каталога или полный дом, чтобы потом по ссылочкам гулять?
Евгений
я по апи парсю а не дом
Юрий
аааа
Евгений
бля, у одного столбца в бд установил значение unique а теперь хочу убрать и нифига не получается
Евгений
ALTER TABLE vacancies DROP INDEX VacancyId;
ошибка #1091 - Невозможно удалить (DROP) 'VacancyId'. Убедитесь что столбец/ключ действительно существует
Luka
скиньте материала с примерами , по работе ajax с ларой. совсем понять не могу и найти. или страницы в учебнике по ларе...
Юрий
Чем работа аякса с ларой отличается от работы аякса с простым скриптом на пхп4?
Юрий
Да при чем тут Лара?) Делай на Ларе бэк, а чем ты с фронта ее дергаешь - ларе не важно. аналогично фронту не важно, куда он обращается - в лару или еще куда
Rodion
скиньте материала с примерами , по работе ajax с ларой. совсем понять не могу и найти. или страницы в учебнике по ларе...
ajax'ом дергаешь ресурс, на бэке возвращаешь данные в нужном формате - вроде все просто.
Anonymous
Да чувак уже который час всех троллит
Евгений
скиньте материала с примерами , по работе ajax с ларой. совсем понять не могу и найти. или страницы в учебнике по ларе...
Ты когда нибудь работал с аяксом не на ларе?
Евгений
Так попробовать можно за 1 минуту а не задавать вопросы
Anonymous
Есть кто знаком с graphql?
Gabit
Ребят algolia или elastic search посоветуйте
Юрий
Эластик
Gabit
Эластик
Можете расписать плюсы и минусы, сейчас хочу часть бд туда дублировать. не знаком ни с тем ни с другим
Gabit
Поискв основном будет по like запросам
Юрий
Ну как минимум эластик опенсурс
Юрий
https://www.quora.com/How-does-Elasticsearch-relate-and-or-compare-to-Algolias-Search-as-a-Service а так вот пост от автора алголии где он пишет плюсы минусы
Юрий
Вообще для сайта не видел применений алголии
Юрий
Она для мобильных приложений же в основном
Юрий
Тут можно сравнить сфинкс и эластик разве что имхо
Gabit
Спасибо
Юрий
И опять же выиграет эластик потому что при всем качестве поиска у сфинкса он в развитии отстает и если раньше на него многие смотрели, то теперь он все у эластика копирует
Евгений
у меня второй :( и то много, придется выбирать топовый из двух
Евгений
продам карма бота в телеграме, может надо кому?)
Евгений
Евгений
ну не я же множу, не ко мне претензия