ребятки, как реализовать такой паттерн, есть задачи, они обрабатывают данные, и информируют о своем выполнении хаб, в хабе висят клиенты по WebSocket и им рассылаются сообщения о прогрессе задач. сначала сделал по тикеру, хаб опрашивает этот пулл задач раз в 500мс., собирает данные - и шлет на клиент. но если задач нет (а их чаще нет, чем они есть), то происходит бессмысленная работа. решил сделать так, что задачи сами оповещают хаб клиентов о своем прогрессе по каналу, но другой вопрос, если задача "упала", а такое вполне возможно, то последнее сообщение улетевшее на клиент будет о том, что задача жива, и получается что клиент никак не узнает о завершении задачи. как это лучше реализовать, кто-то знает?

ребятки, как реализовать такой паттерн, есть задачи, они обрабатывают данные, и информируют о своем выполнении хаб, в хабе висят клиенты по WebSocket и им рассылаются сообщения о прогрессе задач. сначала сделал по тикеру, хаб опрашивает этот пулл задач раз в 500мс., собирает данные - и шлет на клиент. но если задач нет (а их чаще нет, чем они есть), то происходит бессмысленная работа. решил сделать так, что задачи сами оповещают хаб клиентов о своем прогрессе по каналу, но другой вопрос, если задача "упала", а такое вполне возможно, то последнее сообщение улетевшее на клиент будет о том, что задача жива, и получается что клиент никак не узнает о завершении задачи. как это лучше реализовать, кто-то знает?

Таймаут к таскам пришурупить можно?

ну, и что?

таймаут чего именно? опрашивать задачу не сдохла ли она, и если сдохла - то отправить что "она всё"?

Всем привет, посоветуйте, пожалуйста, литературу или любую другую информацию для изучения разработки микросервисов на Go

я прочитал весь текст, не слишком много там понял, но финальный вопрос меня просто добил :)

Вадим, не пиши так долго! Пиши проще!

Пусть воркер при завершении (он ж не может с паникой вывалиться) закрывает канал. Хаб слушает селектом канал воркера и канал time.After, в зависимости че первее наступит то и делает.

@golanglibrary

Мне кажется вам стоит завести блог. Или твиттор. Или инстаграмм. Обычно туда пишут свои мысли, которые никому другому не интересны. От вас очень много бессмысленно флуда. Человек задал вопрос, на который ответить вы не можете (не хотите) и вы нафлудили десяток бессмысленных, не несущих нагрузки сообщений. Если не сложно, то хотя бы схлопывайте ваши мысли в одно сообщение

ребятки, как реализовать такой паттерн, есть задачи, они обрабатывают данные, и информируют о своем выполнении хаб, в хабе висят клиенты по WebSocket и им рассылаются сообщения о прогрессе задач. сначала сделал по тикеру, хаб опрашивает этот пулл задач раз в 500мс., собирает данные - и шлет на клиент. но если задач нет (а их чаще нет, чем они есть), то происходит бессмысленная работа. решил сделать так, что задачи сами оповещают хаб клиентов о своем прогрессе по каналу, но другой вопрос, если задача "упала", а такое вполне возможно, то последнее сообщение улетевшее на клиент будет о том, что задача жива, и получается что клиент никак не узнает о завершении задачи. как это лучше реализовать, кто-то знает?

Окай, спасибо. Надо сам хаб перепилить, и как-то регистрировать воркеры в нем. И на каждого воркера использовать горутину наблюдающий за прогрессом, либо если задача не отвечает - сообщать что закончилось. Там ещё есть проблема с тем, что сами задачи запускаются и из CLI по крону отдельным приложением, т.е. задачи должны сами уведомить хаб о своем появлении. Короче спроектировать это надо как-то толково. Куча нюансов. Ладно спасибо, пойду обмозгую.

Или попробуйте опрашивать о статусе через Лонг-поллинг, возможно снизится нагрузка. Если хотите решить задачу вторым способом - пускайте херт-бит сигналы которые пингуют задачу. И настройте полиси - не ответил на три-пять херт-битов подряд - задача считается мертвой

Я думал может какой-то паттерн есть под это дело, ведь проблема уже наверняка решена и объезжана, и вопросы разделения обязанностей и ответственности уже тоже известны.

Тут хайлоада нет, реально максимум онлайн будет человека 3. Это красивая админка для одного клиента, с раннерами его заданий.

Из кли не обязательно запускать прям полноценное приложение. Можете при запуске из кли, искать текущий запущенный демон (пайп например в фс искатт по фиксированному пути) и в него пихать таск

ребятки, как реализовать такой паттерн, есть задачи, они обрабатывают данные, и информируют о своем выполнении хаб, в хабе висят клиенты по WebSocket и им рассылаются сообщения о прогрессе задач. сначала сделал по тикеру, хаб опрашивает этот пулл задач раз в 500мс., собирает данные - и шлет на клиент. но если задач нет (а их чаще нет, чем они есть), то происходит бессмысленная работа. решил сделать так, что задачи сами оповещают хаб клиентов о своем прогрессе по каналу, но другой вопрос, если задача "упала", а такое вполне возможно, то последнее сообщение улетевшее на клиент будет о том, что задача жива, и получается что клиент никак не узнает о завершении задачи. как это лучше реализовать, кто-то знает?

Может тогда и делать ничего не надо? :)

Получать подтверждение о получении сообщения.

Это для чего? У нас же раннеры оповещают хаб.

Это для чего? У нас же раннеры оповещают хаб.

Мне кажется вам стоит завести блог. Или твиттор. Или инстаграмм. Обычно туда пишут свои мысли, которые никому другому не интересны. От вас очень много бессмысленно флуда. Человек задал вопрос, на который ответить вы не можете (не хотите) и вы нафлудили десяток бессмысленных, не несущих нагрузки сообщений. Если не сложно, то хотя бы схлопывайте ваши мысли в одно сообщение

тут почти две тысячи "участникиков". И почти все молчат. А вы, Александр, упрекаете меня в том, что я тут что-то говорю... Ай-ай

не красиво говорить "про себя", при этом одергивать про упоминания возможностей или фич "раст-а", потому что тема про Го. Пора быть скромнее. Чем меньше тут сообщений за день - тем лучше, потому что информативнее.

Это не так

что именно? говорить/спрашивать про себя "как исправить свою вину"..... или одергивать про фичи в раст-е? да, говорить "без дела" - ну так себе..... не красиво.

Как ты уже подзаебал за два дня со своим Rust, прости. Ты ведь явно понимаешь, что каналом не ошибся. То есть злонамеренно флудишь :(

Девочки, не сорьтесь

ребятки, как реализовать такой паттерн, есть задачи, они обрабатывают данные, и информируют о своем выполнении хаб, в хабе висят клиенты по WebSocket и им рассылаются сообщения о прогрессе задач. сначала сделал по тикеру, хаб опрашивает этот пулл задач раз в 500мс., собирает данные - и шлет на клиент. но если задач нет (а их чаще нет, чем они есть), то происходит бессмысленная работа. решил сделать так, что задачи сами оповещают хаб клиентов о своем прогрессе по каналу, но другой вопрос, если задача "упала", а такое вполне возможно, то последнее сообщение улетевшее на клиент будет о том, что задача жива, и получается что клиент никак не узнает о завершении задачи. как это лучше реализовать, кто-то знает?

как быть если задача выполняется от нескольких секунд до нескольких часов, там таймаут не получится сделать. с хартбитом понятно.

у этой схемы есть проблема, что надо или заранее знать примерное время выполнение задачи и выставлять таймаут в контексте исходя из этого. или все же периодически опрашивать статус и увеличивать таймаут, если work in progress

Или взять количество заданий и перемножить?)

Ну вот я создаю ctx.WithTimeout, какое время указывать? Или вы не про это?

Задача у меня это если что: - выбрать из базы 500+ URL - поднять Chrome - начать обходить страницы - обрабатываем результаты, вставляем в базу

Не)) chromedp очень глючный

Не)) chromedp очень глючный

cdp mafredi

https://github.com/mafredri/cdp

Не)) chromedp очень глючный

Интересно) используем chromedp в проде и норм вроде как

У меня не отрабатывал событие одно. Элемент появляется, а он висит в ожидании его появления и в логе при этом пишет,, что найден такой элемент. Ну вот ни в какую. Либо я чего-то не понял.

(после go get билдит как раз в bin, в остальных случаях в папку с проектом)

я про докер на винде не знаю ничего. он там в виртуалке линуксовой, как на маке?

привет! запутался с поинтерами: есть слайс []*int и в него в цикле я аппендю 2, 1, 1. Но в итоге слайс содержит 1, 1, 1. Вопрос ко всем, кроме админов : какой момент насчет поинтеров я упустил?

а ты в него как аппендишь? Мне тут знакомая коза на ухо шепнула, что готова поспорить, что внутри у тебя - массив указателей на один и тот же *int, в котором лежит ровно то, что положили последним

Никак, только через вложенные запросы