Siarhei
запрос → парсинг → еще обработка → запись в БД → еще кое-какие операции
Siarhei
но я думаю, что если отключить логирование, что жрет больше всего памяти, то будет еще быстрее
Andrey
не, это понятно. не понятно, как может кол-во запросов расти. разве что они зависят от того, что парсят
Siarhei
потому что как бы I/O это всегда слабое место
Siarhei
расскажу собственно задачу
Siarhei
есть сайт http://belpost.by/
Siarhei
от этих ребят API не дождешься
Siarhei
вот и приходится слать запросы и парсить страницу с выдачей
Siarhei
например
Siarhei
https://webservices.belpost.by/searchRu/VV159030314BY
Siarhei
Обрабатывать это все и класть в БД
Siarhei
Пока без Job'ов всяких
Siarhei
Просто все синхронно
Andrey
ну я бы сразу на job ах делал
Andrey
как я собственно и делал похожую задачу)
Siarhei
а я пока не совсем понял как это сделать
Siarhei
тем более мне надо было быстро
Siarhei
насколько я понимаю, что это просто запись в БД или редис
Siarhei
и потом запускается процесс и по порядку
Siarhei
и для этой штуки сейчас еще есть Horizon?
invariance
добро пожаловать в клуб
Andrey
))
Siarhei
короче, страшновато мне чуток
Andrey
Фолли все расскажет
Siarhei
оно как бы уже все на продакшене
invariance
я на работе аще
invariance
)
Andrey
в офф доке исчерпывающе описано. supervisord
Siarhei
я хочу в отдельный микросервис вынести это
Siarhei
да, я читал, суть уловил вроде
invariance
ну все, ты в клубе
Siarhei
а еще я хочу API запилить под это все
invariance
на самом деле
invariance
джобы - это микросервисы
Siarhei
и ребята советуют тоже на ноде
Andrey
Ну начинается)
Andrey
Джобы работают не в отрыве от основного приложения. Они в его контексте. какие же это микросервисы?
invariance
микросервисы по одиночке тоже не работают, ежели что
invariance
они тоже в контексте монолита работают по сути
invariance
если запускаешь джоб как отдельный процесс, то это очень похоже на микросервис
Os
Микросервисы надо делать по возможности так, чтобы они были максимально самостоятельны и независимы
invariance
по возможности конечно да
Siarhei
invariance
разве джоб в ларе недостаточно независим?
Siarhei
ну тут сложно назвать это микросервисом
Siarhei
джоб он и есть джоб
Siarhei
микросервис это отдельный независимый кусок
Siarhei
а джоб зависит от контекста
invariance
молодец, умеешь повторять за другими
Siarhei
т.е. ему все окружение нужно, чтобы выполнится
Siarhei
вот я о чем
invariance
микросервисам тоже нужно окружение, что бы выполниться
Siarhei
а в монолите он не микросервис
Os
Да пофигу, в программировании нету единственно верного решения
Siarhei
ну у них свое
invariance
джоб в ларе может запуститься без необходимости тянуть весь монолит
Siarhei
а так я могу в любой момент потом из php на ноду поменять и без разницы остальному приложениею
Siarhei
хоть на go
Andrey
микросервис может работать вообще на другой машине, ну камон
Os
джоб в ларе может запуститься без необходимости тянуть весь монолит
Ну да, а ты видел трейс этих джобов?)
Siarhei
но если ты в монолите это начнешь менять это может повлиять на монолит
Os
И насколько они могут работать в отрезе от лары?
Siarhei
плюс я могу вынести это вообще хоть на другой сервак
Andrey
главное, на надо стесняться своих монолитов) это ж на самом деле не плохо. микросервисы не везде нужны вот и все
Siarhei
и размножить сколько угодно раз, без основного приложения
Siarhei
да, конечно
Siarhei
не всегда
Os
Да, самая главная фишка микросервисов, чтобы было проще масштабировать и поддерживать в отрыве от монолита
Siarhei
просто почему мне это надо: придет мне 25000 посылок, и я охренею от счастья
invariance
например?
я имел ввиду, что он выполняется отдельно. Эндпоинт то один, но в принципе как и у микросервисов
invariance
разница только в масштабе
Os
просто почему мне это надо: придет мне 25000 посылок, и я охренею от счастья
Очереди тебя спасут довольно сильно
Siarhei
просто мне нужно делать это еще хотя бы 1 раз в час
Siarhei
а за час может столько не обработаться
Siarhei
короче, мне по-любому нужно сразу переделать это на асинхронные задачи