не упал

но это конечно на моём компе локальном, на серваке то памяти поменьше

а долго эти задачи отрабатывают?

ну каждая в отдельности?

быстро, все зависит от ответа сайта

то есть может сайт затупить и процесс повиснет на 30 сек например?

да, бывает такое

если есть таймаут

а так по полсекунды обычно

если все гладко

но почему-то с количеством растет в прогрессии

пока непонятно в какой

ну это от задачи зависит

запрос → парсинг → еще обработка → запись в БД → еще кое-какие операции

но я думаю, что если отключить логирование, что жрет больше всего памяти, то будет еще быстрее

не, это понятно. не понятно, как может кол-во запросов расти. разве что они зависят от того, что парсят

потому что как бы I/O это всегда слабое место

расскажу собственно задачу

есть сайт http://belpost.by/

от этих ребят API не дождешься

вот и приходится слать запросы и парсить страницу с выдачей

например

https://webservices.belpost.by/searchRu/VV159030314BY

Обрабатывать это все и класть в БД

Пока без Job'ов всяких

Просто все синхронно

ну я бы сразу на job ах делал

как я собственно и делал похожую задачу)

а я пока не совсем понял как это сделать

тем более мне надо было быстро

насколько я понимаю, что это просто запись в БД или редис

и потом запускается процесс и по порядку

и для этой штуки сейчас еще есть Horizon?

добро пожаловать в клуб

))

короче, страшновато мне чуток

Фолли все расскажет

короче, страшновато мне чуток

не, там все просто

оно как бы уже все на продакшене

я на работе аще

)

в офф доке исчерпывающе описано. supervisord

я хочу в отдельный микросервис вынести это

да, я читал, суть уловил вроде

ну все, ты в клубе

а еще я хочу API запилить под это все

на самом деле

джобы - это микросервисы

и ребята советуют тоже на ноде

Ну начинается)

Джобы работают не в отрыве от основного приложения. Они в его контексте. какие же это микросервисы?

микросервисы по одиночке тоже не работают, ежели что

они тоже в контексте монолита работают по сути

микросервисы по одиночке тоже не работают, ежели что

У меня для тебя плохие новости)

если запускаешь джоб как отдельный процесс, то это очень похоже на микросервис

Микросервисы надо делать по возможности так, чтобы они были максимально самостоятельны и независимы

по возможности конечно да

Микросервисы надо делать по возможности так, чтобы они были максимально самостоятельны и независимы

+

разве джоб в ларе недостаточно независим?

ну тут сложно назвать это микросервисом

джоб он и есть джоб

микросервис это отдельный независимый кусок

а джоб зависит от контекста

молодец, умеешь повторять за другими

т.е. ему все окружение нужно, чтобы выполнится

вот я о чем

микросервисам тоже нужно окружение, что бы выполниться

ERROR: S client not available

а в монолите он не микросервис

Да пофигу, в программировании нету единственно верного решения

ну у них свое

молодец, умеешь повторять за другими

джоб работает в контексте всего приложения

джоб в ларе может запуститься без необходимости тянуть весь монолит

а так я могу в любой момент потом из php на ноду поменять и без разницы остальному приложениею

джоб в ларе может запуститься без необходимости тянуть весь монолит

например?

джоб работает в контексте всего приложения

как и микросервис

хоть на go

микросервис может работать вообще на другой машине, ну камон

джоб в ларе может запуститься без необходимости тянуть весь монолит

Ну да, а ты видел трейс этих джобов?)

но если ты в монолите это начнешь менять это может повлиять на монолит

И насколько они могут работать в отрезе от лары?

плюс я могу вынести это вообще хоть на другой сервак

главное, на надо стесняться своих монолитов) это ж на самом деле не плохо. микросервисы не везде нужны вот и все

и размножить сколько угодно раз, без основного приложения

да, конечно

не всегда

Да, самая главная фишка микросервисов, чтобы было проще масштабировать и поддерживать в отрыве от монолита

просто почему мне это надо: придет мне 25000 посылок, и я охренею от счастья

например?

я имел ввиду, что он выполняется отдельно. Эндпоинт то один, но в принципе как и у микросервисов

разница только в масштабе

просто почему мне это надо: придет мне 25000 посылок, и я охренею от счастья

Очереди тебя спасут довольно сильно

просто мне нужно делать это еще хотя бы 1 раз в час

а за час может столько не обработаться

короче, мне по-любому нужно сразу переделать это на асинхронные задачи

у микросервисов это какой-то отдельный гейтвей, а у джобов ларка

но если ты в монолите это начнешь менять это может повлиять на монолит

ты можешь запустить прослушку не отдельном серваке, если угодно

короче, мне по-любому нужно сразу переделать это на асинхронные задачи

При помощи очереди и джоьов ты можешь выполнять х задач одновременно

что бы у тебя там оно исполнялось

хотя как это будет на практике, я чет хз

но мне что то такое придется делать