а ты сам то в вузе учился?)

вузы разные бывают и учат там кодить

только не так, как надо рынку

Меня за такой код не то что уволили бы, в лес вывезли бы

Кто-нибудь парсил сайты в промышленных масштабах?

я пытался соупом

потом какая-то тема была с веб-драйвером

типо он более продвинутый

Ну то селениум

ну без селениума никак

плюс если сайт аяксовый

тогда вообще жепа

Nashorn еще под это дело не прикрутили?

Curl типа не катит?

А если не ajax

ну тогда веб-драйвер

его можно обучить под большие масштабы

статья на хабре была

@larev ты же сам статью скидывал в канал, чел говорит, llvm будет в моде)

Или это не ты? О_о

да Павел скидывал

правда статья сначала вызывает сильные чувства

а потом противоречие

чел грит, что не бегите за трендами, а сам навязывает LLVM

:)

А llvm - тренд?

JVM жила и будет жить!

http://s00.yaplakal.com/pics/pics_original/0/8/2/546280.jpg

А llvm - тренд?

частенько впаривать ее стали

Как запилить сервис, который в реальном времени собирал данные с других ресурсов и хранил в бд?

Спроси у яндекса)

в реальном это как?

непрерывный парсинг?

это так-то нихуевых ресурсов потребует

а так таску создаешь, она в определенное время собирает все и кладет в бд

Ну, крон да)

quartz

spring shedule

много вариантов

Спс

Ну вот например узнать что обновилась целевая страница сайта

Дергать её раз в 30сек и хеш сравнивать например?

да, только хотел предложить

таска - дергает контроллер - контроллер дергает сервис - сервис парсит и кладет в бд

при

А чем дом разбирать удобнее всего?

этом в сервисе достает старый слепок и сравниваем с новым

А чем дом разбирать удобнее всего?

в пхп наверно есть что-то?

в джаве соуп

пхп

жэй соуп

я что-то пропустил

капитан джэй соуп

в пхп наверно есть что-то?

Ну там своя кухня. Я на джаве хочу)

jsoup

на джаве jsoup

однозначно

Ок

для тасок есть http://www.quartz-scheduler.org/

плюс у спринга есть что-то

вроде кварц со спрингом умеет

ERROR: S client not available

отлично

ща

по сути мы ща совместно собрали сервис

:)

Только шлите http-запрос If-Modified-Since

квартц с таймером дергает контроллер контроллер дергает сервис сервис в первый раз считывает страницу + разбирает ее и кладет в базу во второй раз достает слепок, сравнивает с новым, если есть различие - обновляем слепок и парсинговую инфу в бд

+предусмотреть возможность блокировки запросов к сайту

значит нужен пул проксей

Артем, по такому тз осилишь?)

http://www.ibm.com/developerworks/ru/library/j-quartz/

https://github.com/jhipster/jhipster-sample-app/blob/master/src/main/java/com/mycompany/myapp/service/UserService.java#L198

Я ту статью не дочитал))

квартц с таймером дергает контроллер контроллер дергает сервис сервис в первый раз считывает страницу + разбирает ее и кладет в базу во второй раз достает слепок, сравнивает с новым, если есть различие - обновляем слепок и парсинговую инфу в бд

?

почитал, кварц может напрямую с сервисом взаимодействовать

контроллер мжешь убрать, он был нужен, если бы ты юзал крон таски

на стороне линупса

И вообщем-то интересны были терзания чувака) а не то что он там про моду пишет)

Дима, помотри пример по ссылке

Дима, помотри пример по ссылке

да, как раз лишние прослойки убрать

Артем, по такому тз осилишь?)

Да сам придумал. Что-то типа hotline.ua, только для автомобилей (бу) Ну и для дела надо, возможно бусинесс с чехией. Сам по себе даже сбор данных очень полезен для анализа рынка

@Transactional(readOnly = true) public User getUserWithAuthorities() { User user = userRepository.findOneByLogin(SecurityUtils.getCurrentUserLogin()).get(); user.getAuthorities().size(); // eagerly load the association return user; }

ой бляяяя

readOnly = true, могли бы вот это убрать

user.getAuthorities().size(); // eagerly load the association чтобы вот этот костыль не писать

?

а потом кто-нибудь вставит изменение ролей, и все?)

интересно как можно что-то вставить

если у тебя гет метод

да еще и по идее секьюрный)

в юзере что-нибудь изменить