Если идти дальше по конкретике - как у вас хранится эта почта. Сервис использует какую то БД? Если да - как организовано взаимодействие? Какую нагрузку на сервер он создает? на систему? Как часто отправляется почта - при появлении письма или по расписанию? И тд

Если идти дальше по конкретике - как у вас хранится эта почта. Сервис использует какую то БД? Если да - как организовано взаимодействие? Какую нагрузку на сервер он создает? на систему? Как часто отправляется почта - при появлении письма или по расписанию? И тд

Сервис отправляет письмо клиенту, при изменении каких-либо полей у клиента по заранее определенным условиям. Использует основную базу приложения. Пока о нагрузке ничего не могу сказать, т.к. используется он на 0.01% клиентов, от общего числа. Но при переводе в боевой режим хочется иметь возможность быстрого масштабирования

Как и откуда он данные по изменениям забирает. Тоже самое по письмам, или генерирует? Маркирует ли он как то что задание обработано?

Сервис отправляет письмо клиенту, при изменении каких-либо полей у клиента по заранее определенным условиям. Использует основную базу приложения. Пока о нагрузке ничего не могу сказать, т.к. используется он на 0.01% клиентов, от общего числа. Но при переводе в боевой режим хочется иметь возможность быстрого масштабирования

очереди замечательно масштабируются

особенно если воркеры спавнят подзадачи

И как часто происходит отправка?

Верней так - как часто на текущей нагрузке приходится отправлять письма?

И как часто остальные клиенты генерируют события на отправку? Это кстати можно измерить сделав аналогичное приложение но без отправки почты клиентам.

Как и откуда он данные по изменениям забирает. Тоже самое по письмам, или генерирует? Маркирует ли он как то что задание обработано?

Колбэк в модели, который запускает воркер. Воркер спавнит другие воркеры, планируя на определенное время.

колбэки в моделях

???

вечно с ними проблемы какие то

И как часто происходит отправка?

Зависит от условий. В день 100-150 писем будут уходить точно. И нагрузка может быть сильно неравномерной

вечно с ними проблемы какие то

проблем с ними нету

?

что то вспомнил как проект встал когда очередь забилась

100-150 писем

100-150 писем

может и 1500-3000 писем

может и 1500-3000 писем

Сначала измерения сделайте. Чтобы знать будет тут проблема с производительностью или нет

очереди замечательно масштабируются

а вот база - не очень.

❤️❤️

причем у большинства этих проблем никогда не будет.

очереди замечательно масштабируются

отлично. а в чем предпочтительнее, чтобы крутился сервис?

отлично. а в чем предпочтительнее, чтобы крутился сервис?

в плане?

приложение в вебсервере крутится не?

приложение в вебсервере крутится не?

исправился

в чем предпочтительнее чтобы работал автомобиль? слишком размыто

какой сервер, где крутится, какие нагрузки

У нас когда авария была крупная, нагрузка выросла в 5 раз и 3 сервера просто заткнулись по процессору и памяти изза звонков. Пришлось срочно с тестового стенда брать сервера и в строй вводить из - вот это проблема с производительностью. А у вас детский сад

пиздец

я бы охуел стейжинг в прод переводить

"Я не знаю как оно сейчас грузит, как оно будет грузить после перевода в прод, но скажите мне как решить мою проблему, которой возможно не будет"

Неправильно сформулировал вопрос) в общем, если рассматривать на примере сайдкика — стартует код сам сайдкик. А в случае очереди сообщений, что лучше использовать? Rack-ом как-то запускать?

какой очереди сообщений?

все засунуть в очередь сайдкик

недавно читал что если тяжелые воркеры в свою очередь будут спавнить воркеры - это хорошо.

(хотя спорно)

а вообще у сайдкика есть вебморда и пул воркеров. Один пул воркеров это физический процесс рубей, а значит хоть там и много воркеров но работать хорошо будут только высоко конкурентные задачи

также как и у ноды например.

Только у руби с асинхронностью плохо поэтому просто плодят побольше потоков.

Впрочем никто не мешает держать несколько пулов sidekiq с разными приоритетами (один почту обрабатывает например, а другой все остальное)

Впрочем никто не мешает держать несколько пулов sidekiq с разными приоритетами (один почту обрабатывает например, а другой все остальное)

так и делаем

Впрочем никто не мешает держать несколько пулов sidekiq с разными приоритетами (один почту обрабатывает например, а другой все остальное)

Так и есть щас. Думал над тем, чтобы часть воркеров сделать незавершающимися, а данные забирать из очереди.

так и делаем

у меня так не делали пока петух жареный не клюнул

так обычно и бывает

правда я там уже не работаю, но не по этому.

так обычно и бывает

деплой в докере да?

не

не

а как при автодеплое запускаете пулы?

я чет все позабыл уже ((

а как при автодеплое запускаете пулы?

хероку

Я тут ищу адекватную схему запуска пумы после перезагрузки, пока что смотрю в сторону systemd --user

ну и других процессов тоже, того же sidekiq или бота.

Я в systemd делал

Я в systemd делал

рутовом?

а апдейтишь конфиг юнита ручками?

и в sudo исключение добавил для автоперезапуска?

Добавил пользователю возможность перезапуска systemd puma без sudo, конфиг редко и руками получается

т.е юзаешь systemd --user?

Добавил пользователю возможность перезапуска systemd puma без sudo, конфиг редко и руками получается

С телефона ошибки т9

Я тут ищу адекватную схему запуска пумы после перезагрузки, пока что смотрю в сторону systemd --user

Хех. Можно юнит systemd написать, который будет запускать пуму. Там даже параметры есть от какого пользователя запускать сервис

Хех. Можно юнит systemd написать, который будет запускать пуму. Там даже параметры есть от какого пользователя запускать сервис

я думаю попробовать systemd --user

[Unit] Description= After=network.target [Service] Type=forking GuessMainPID=yes User= Group= # If not use forking and GuessMainPID options # PIDFile=/run/%p.pid ExecStart= ExecStopPost=/bin/rm -f $MAINPID Restart=on-failure [Install] WantedBy=multi-user.target

Так же проще

Это шаблон для засовывания в systemd чего либо. Его, правда, придется допиливать под приложение, поскольку все предусмотреть нельзя

Но представление дает.

Просто потом можно вот так делать: systemctl status callManagerREST ● callManagerREST.service - Queue module that work with redis, mysql and kamailio for forming call to agents via REST API Loaded: loaded (/etc/systemd/system/callManagerREST.service; enabled; vendor preset: enabled) Active: active (running) since Wed 2018-06-20 17:28:27 +05; 7min ago Process: 11765 ExecStop=/bin/bash -c /usr/bin/env ruby $VOIP_BIN/callManagerREST.rb stop (code=exited, status=0/SUCCESS) Process: 11829 ExecStart=/bin/bash -c /usr/bin/env ruby $VOIP_BIN/callManagerREST.rb start (code=exited, status=0/SUCCESS) Process: 11825 ExecStartPre=/usr/bin/env ruby -v (code=exited, status=0/SUCCESS) Tasks: 4 (limit: 4915) Memory: 36.1M (limit: 512.0M) CPU: 646ms CGroup: /system.slice/callManagerREST.service ├─11879 callManagerREST └─11880 callManagerREST_monitor

@ShadoWalkeR31 systemd --user это насколько я понимаю теже юниты только от лица конкретного юзера

у меня просто деплой в хомяк и запуск тоже от того же юзера

Может я не совсем понимаю - после деплоя вызывается команда systemd —user run приложение?

А все - посмотрел вывод команды

Если у тебя приложение крашнется что произойдет? Я просто с самой командой systemd не работал - сразу service файлы стал использовать

оно поидее рестартиться должно

причем тут команда )) такой же юнит поидее

Если я правильно понял он запустит чтото типа screen - надо будет справку почитать)

он запускает user процесс systemd который хэндлит юниты

если ничего не путаю

Скорее всего с какими то дефолтными вещами. Можешь попробовать systemct list-units сделать и поискать там свой сервис Потом systemctl cat %имя сервиса%

Ну и systemctl show/status %имя сервиса%

в плане дефолтными вещами? ))

Там набор опций существенно больше в настройке сервиса)

естественно

Просто в примере выше - я сразу лимит памяти назначаю для сервиса

Еще он у меня в случае падения/рестарта в заббикс уведомления шлет

Кроме того у меня все через rvm работает - я подгружаю файл с переменными окружения, сформированный для руби/гемсета, которое это приложение должно использовать

у меня тоже rvm

У меня он не по дефолту) Тут некая предвзятость в организации к нему ?

по дефолту в смысле?

Пришлось извернуться)

У меня системный руби по дефолту

У меня системный руби по дефолту

у меня тоже

а в хомяке rvm

ибо нефиг rvm делать ничего за пределами хомяка

rvm на уровне системы - садомазо

А у меня в системе - один на всех. Просто подцепить его просто так нельзя)

Да все нормально, если умеючи))))