Привет, есть люди знающие Mercurial? Нужен совет. У меня на работе моно репозиторий, для разных проектов отдельные брэнчи. Сейчас мне для нескольких проектов нужно разработать кое-какие фичи, которые должны будут попасть в основные ветки проектов только когда они будут готовы, все вместе. При этом мне вероятно придется переключаться между проектами и возможно что-то pull/push-ить. Собственно, мне нужно чтобы мои изменения либо не попали в основной репозиторий, либо никак не помешали другим коллегам работать. Думал использовать bookmarks, но когда коммичу - у меня одновременно переключается и bookmark и head брэнча, т.е. когда я обратно делаю update branchname то переключаюсь на те же изменения которые я бы хотел иметь отдельно от оосновной ветки...

переписать всегда можно

Ну я полгода уже собираюсь

Чё, пацаны, пуллреквест?

Пилите, хули

По хорошему, мне нужно туда апи впихнуть, шоб работало напрямую

4 класса иногда легче самому переписать

особенно чтобы не с windows папочками работало

Ну, флаг в руки

Осилишь - скинь посмотреть

я думал я плохой код пишу

Открывал код полугодичной давности, небольшой проектик - код хорош

Давал уже. В целом положительные отзывы

все пишут, что вот в америкашеке все хвалят друг друга а у нас обсирают, давайте хвалить

молодец, что справился с этой задачей

все пишут, что вот в америкашеке все хвалят друг друга а у нас обсирают, давайте хвалить

У них обсирают если не хвалишь друг друга)

О, пацаны, походу додумался как те ифы переписать

g/if/d ?

Не

Рекурсию запилить можно, рил

Надо ж.

добавь еще мож ифов а то недостачтоно их

Бесовство

Рекурсию запилить можно, рил

не не , это бесовство, добавь goto и break-ов побольше

не не , это бесовство, добавь goto и break-ов побольше

Java же, лейблы.

и никто ещё не предложил AbstractSingletonBridgeFactoryXmlDtoBean

и никто ещё не предложил AbstractSingletonBridgeFactoryXmlDtoBean

*AbstractSingletonBridgeFactoryXmlDtoBeanContainer

а кто-нибудь парсеры соц сетей писал? Насколько это геморно?

а данные ты как будешь получать ?

а данные ты как будешь получать ?

Ну, например vkapi, youtube api

а данные ты как будешь получать ?

Через AbstractSingletonBridgeFactoryXmlToDbBeanContainerImplentation

а кто-нибудь парсеры соц сетей писал? Насколько это геморно?

Геморность, очевидно, зависит от количества, типа и объёма задач.

Ну и от того, насколько то, что ты хочешь получить, близко к тому, что ты можешь непосредственно получить через эти АПИ.

Ну, например vkapi, youtube api

Если не ошибаюсь, для vk api нужно будет зарегистрировать своё приложение внутри самого VK (как игры внутренние, типа такого). В остальном — зависит от гибкости API и потребностей. Но это не совсем парсер соц. сети, подумал, что ты собрался HTML парсить :з

Геморность, очевидно, зависит от количества, типа и объёма задач.

Ну в общем, расскажу. У меня есть парсер, он использует n учеток ютуба, чтобы его не банили. Его максимальная скорость парсинга 400к каналов в день. Вот решаю вопросы, как его ускорить, но пока хз, как это сделать

Ютуб апи очень тормозное и ограничивает себя в использовании

Так парсинг какой, чего именно и с какими целями?

Парсинг это статистика каналов, цель, собрать множество каналов, и мониторить их статистику, чем больше тем лучше

Статистика какая? Зачем её мониторить?

Ну в общем, расскажу. У меня есть парсер, он использует n учеток ютуба, чтобы его не банили. Его максимальная скорость парсинга 400к каналов в день. Вот решаю вопросы, как его ускорить, но пока хз, как это сделать

больше учеток ?

Статистика какая? Зачем её мониторить?

Да обычная, просмотры, видео, комментарии. Я эти данные отдаю, по которым алгоритмеры строят модели для машинного обучения

Да обычная, просмотры, видео, комментарии. Я эти данные отдаю, по которым алгоритмеры строят модели для машинного обучения

а по моделям потом людей в турьмы сажают за коменты

больше учеток ?

У меня и так уже 10 симок =))

Ну вообще да, кажется всё сводится к "больше учёток и потоков исполнения"

а по моделям потом людей в турьмы сажают за коменты

Нет, сами комменты я не собираю, только кол-во

Всё равно сажают!

Покуда мы конкретику кода не видим, сложно сказать что-то, кроме "пиши оптимальнее, по возможности многопоточнее и заводи больше учёток"

Сайт парсить, если ты об этом, почти 100% будет медленнее.

У меня и так уже 10 симок =))

регай на электронные

Таки да

Покуда мы конкретику кода не видим, сложно сказать что-то, кроме "пиши оптимальнее, по возможности многопоточнее и заводи больше учёток"

ну да. Просто проблема в том, что апи медленное и хз как его ускорить

Кроме как горизонатльное масштабирование

ну да. Просто проблема в том, что апи медленное и хз как его ускорить

- как ускорить чужое апи - никак

могут по ip тебя тормозить, но это не точно

Чтобы ускорить _апи_, тебе надо устроиться работать в гугол и переписать апи ютуба.

попробуй другой ip \ разные машины

А вообще 400к каналов в сутки не кажется очень медленным - это так-то 4+ канала в секунду, что, с учётом вероятной туевой хучи запросов по сети в сторону АПИ (хотя я не знаю, может там как-то batch data получаешь, и запросов немного), не очень мало.

может ты в лимиты упарываешься ?

Ну есть хороший шанс, что так

может ты в лимиты упарываешься ?

Нет квоты не заполняются =(

А расскажите, как лучше всего заказать много машин с разными ip адресами. И тд

ERROR: S client not available

В каком сервисе

amazon aws дают машину полудохлую бесплатно на год, можно потестить

Там 1 ядро

и памяти 0

Почти

А расскажите, как лучше всего заказать много машин с разными ip адресами. И тд

если скорость канала не критична, то проще купить несколько очень толстых железок и к ним списки проксей. прокси периодически придется обновлять

У меня 2 толстые железки есть

некоторые сервисы позволяют доступ с ipv6 адресов. раздобыть кучу ipv6 проксей дело пары минут несложного гугления. ipv4 - придется покупать

1000 рублей на 3 месяца. 20 проксей ipv6

о..ть можно простите. я миллионер тогда.

куча хостеров дают впс-ки с 1 ipv4 и целой подсетью из ipv6.

https://habrahabr.ru/post/331178/comments/ вот тут можно почитать, как чуваки правда несколько другую проблему решали. но смысл тот же.

https://habrahabr.ru/post/331178/comments/ вот тут можно почитать, как чуваки правда несколько другую проблему решали. но смысл тот же.

Спасибо, почитаю.

что порекомендуете использовать для спринговых микросервисов, feign или resteasy?

(не хайлоад)

У меня feign

Resteasy не пробовал. С Feign удобно интегрирован с бутом, эврикой и прочими

спасибо

Ну и писать интерфейсы так же легко, как писать контроллеры в spring mvc

https://github.com/paypal/resteasy-spring-boot я просто нашел вот это

выглядит вроде вполне

но feign вроде стандарт

что порекомендуете использовать для спринговых микросервисов, feign или resteasy?

фейн

https://github.com/paypal/resteasy-spring-boot я просто нашел вот это

Честно, я бы юзал стандарт. Просто потому, что много инфы в случае жопы

просто топчик

и ему необязательно доступ к SD, можно просто диапозон серверов указать, куда ходить для конкретного сервиса, т.е. так же остаётся абстракция на уровне интерфейсов

оке, попробую

Пока у меня вроде проблем не было. Использую, как раз с парсерами, о которых писал выше, парсеры при старте регаются в эврике, а она дальше распределяет задачи на парсинг между парсерами. и все это происходит через feign

Шо вы наделали пацаны. Я из-за вас сел за код

Ну-ка, гляньте ещё раз, шо там кроме моих ифов поменять надо

ссылку кинь опять

https://github.com/shnaps/Saver