Бизнес логика на 5-6 сек на одном сервере

Через час в кьюе будет 216 000 000 сообщений

Для тим лида задачи ставить не умеешь

Сомнительно

и много выебываешься

аж тошнит

При всем уважении

здесь скиллы демонстрируют помощью и сакцесс стори

а не хуетой вот этой

нет бы сказать, ребята, а я вот тут недавно такую задачу решил, цените кейс

Расскажи свою сакцесс стори

Расскажи свою сакцесс стори

сегодня на работе оптимизировал загрузку сценариев симуляции, найдя проблему переключения контекстов к бд, например

И с мордой Джонни Айва на белом фоне рассказать про сукцесс

поэтому ребята, внимательно следите за коннекшенами в вашей аппы и транзакциями

Симуляции чего?

https://habrahabr.ru/company/muk/blog/251959/

или вот еще сакцесс стори: если вы используете монгу, то выносите ее на отдельный сервер или в докер, т.к. она разжирается до неимоверных размеров и ее может прибить какая-нибудь джоба - ресурс брокер

а в чем проблема была?

>найдя проблему переключения контекстов к бд, например

Через час в кьюе будет 216 000 000 сообщений

Согласен, но я как то пытался решить вопрос в рамках одного сервера, хоть в 2а раза больше, куеу можно плюнуть на винт или в локальную базу

Не принципиально, один хрен неверная архитектура

Согласен, но я как то пытался решить вопрос в рамках одного сервера, хоть в 2а раза больше, куеу можно плюнуть на винт или в локальную базу

Тогда на обработку часа очереди уйдёт 10000 часов

Это очень много

При условии 6 секунд на сообщение

Ты читал сообщения чуть выше?)

Или ты в танке?

В ПТ-САУ ) что там?)

Там чувак решил запихнуть невпихуемое в один сервант, а в ответ хотел услышать про сраный неблокирующий асинхрон))))

Неблокирующий асинхрон, Карл!!!)))

а то

Ну да)) молодец, че))

наличие знаний о работе сетевых подключений в джаве еще на начальном этапе определило бы дальнейшую архитектуру системы

Мы бы даже с тобой до фиберов дошли, есиб про 5-6сек не ляпнул)

5-6 сек нужны были просто в качестве рамок

Вот вам задача: есть сетевой сервер, который должен обрабатывать около 10к сообщений в секунду, на обработку сообщения уходит около 5-7 секунд. Как будете реализовывать архитектуру сервера?

ну тут же всё скучно: неблокирующие сокеты, очередь и воркеры эту очередь разребающие. если нужны приоритеты для сообщений, то очередей несколько и воркеры разгребают сначала высокоприоритетную очередь.

Это не рамки, это в корне решение меняет

ответ отдается не мгновенно, а требует времени

ну тут же всё скучно: неблокирующие сокеты, очередь и воркеры эту очередь разребающие. если нужны приоритеты для сообщений, то очередей несколько и воркеры разгребают сначала высокоприоритетную очередь.

с подключением)

но тут ещё всё сильно зависит от сообщений: в каком виде они поступают, размер итп.

уже всё обсудили

меня несколько сбило с толку что сообщения поступают быстрее чем обрабатываются.

меня несколько сбило с толку что сообщения поступают быстрее чем обрабатываются.

А это норма

высокая нагрузка на сервер

высокая нагрузка на сервер

ну что такое высокая нагрузка? например, я одним процессом на python утилизирую почти 10гбит.

и держу при этом легко более 20k коннектов.

Для тогоже нетти 10ку держать не проблема

А вот 150к держать уже интересно

Для тогоже нетти 10ку держать не проблема

это да. а вот умеет нетти из одного tcp-коннекта в другой tcp-коннект перекладывать байтики без копирования в юзерспейс? :)

А вот 150к держать уже интересно

я держал на тестах ~ 450k одним процессом.

я держал на тестах ~ 450k одним процессом.

Что с памятью было?

в принципе, после появления SO_REUSEPORT и lockless listener можно держать миллионы коннектов и миллионы входящих коннектов в секунду.

Что с памятью было?

там совсем немного съедено. в основном, тут расходуются ядерные ресурсы.

точнее, и раньше можно было, но теперь всё сильно проще и приятнее :)

Ну или хаками

да там же надо просто позвать setsockopt в правильной константой :)

Так то можно, но полной поддержки ждк нету пока

А какие у тебя настройки сока были? Надо нетти погонять, если его через натив epoll использовать то там реюзпорт должен быть

Какие курсы java лучше проходить geekbrains или javarush или не париться и бесплатные на stepic?

Попробуй лекции головача на ютубе посмотреть. Он вроде бы не плохо рассказал джава кор. Но там много не только джавы, но и его размышлений, можешь перематывать.

Какие курсы java лучше проходить geekbrains или javarush или не париться и бесплатные на stepic?

Не забывай смотреть на ютуб. Обычно там всегда есть что-то вкусное) Например тебе подойдёт этот канал: http://www.youtube.com/user/devcolibri/playlists

Там уже выбирай что теюе надо.

Кто знает как много памяти жрет поток созданный @Async'ом?

Не забывай смотреть на ютуб. Обычно там всегда есть что-то вкусное) Например тебе подойдёт этот канал: http://www.youtube.com/user/devcolibri/playlists

Спасибо!

Кто знает как много памяти жрет поток созданный @Async'ом?

Могу сказать минимум сколько жрет один поток на x64

это 1мб на стек

ERROR: S client not available

а там уже нужно смотреть, что плодит @Async в процессе работы

это 1мб на стек

статью от HH вчера прочитал?)

На чем?

Так ведь мозгой рулить можно))

А понял, нет ещё не читал. Просто недавно смотрел что там твориться в java util cuncurrent и полностью повторил ещё стоковую многопоточность.

гуга, ты читал чуть выше про reuseport и держалке 450к соединений на одном инстансе?)) чудеса)

https://habrahabr.ru/company/hh/blog/280892/

вот статья)

там просто как раз фраза, что на х64 нужен 1 мб)

гуга, ты читал чуть выше про reuseport и держалке 450к соединений на одном инстансе?)) чудеса)

Нет, вы столько нафлудили за ночь, что я просто все проскипал.

https://habrahabr.ru/company/hh/blog/280892/

Собирался почитать. Но как-то времени не много сейчас.

Там же вопрос был в том, какой оверхед даёт @async

там просто как раз фраза, что на х64 нужен 1 мб)

На 64битах метр по умолчанию в Xss уходит, уменьшить то никто не запрещает)

https://habrahabr.ru/post/280912/

гуга, ты читал чуть выше про reuseport и держалке 450к соединений на одном инстансе?)) чудеса)

А в чем чудеса? Ограничения тут могут быть либо со стороны ядра, либо в оверхеде фреймворка(обертка на fd что-то весит же)

Я попробую сам поднять и потестить, чтобы не быть голословным, но в масштабах одного инстанса, архитектура без реюза должна давать теже результаты

Какие курсы java лучше проходить geekbrains или javarush или не париться и бесплатные на stepic?

никакие, просто практика, гугление, чтение stack overflow

курсы по программированию это высасывание денег и\или трата времени

никогда еще не видел, чтобы там стояли нормальные задачи

курсы по программированию это высасывание денег и\или трата времени

А мне вот нравятся всякие воркшопы, читай — курсы, за 2х8 часов можно быстро вникнуть в что-то с чуваком, который это уже делал.

А мне вот нравятся всякие воркшопы, читай — курсы, за 2х8 часов можно быстро вникнуть в что-то с чуваком, который это уже делал.

или открыть книгу и за пару вечеров сделать то же самое, без напрягов

или открыть книгу и за пару вечеров сделать то же самое, без напрягов

Много ты книг видел по react.js например и всю его инфраструктуру. Там есть только офф доки.

Ладно реакт, у не него в целом не такое уж и большое API

И то, найти что-то про контекст и как его юзать довольно напряжно.

Много ты книг видел по react.js например и всю его инфраструктуру. Там есть только офф доки.

"открыть книгу" в наше время уже абстрактное понятие https://github.com/enaqx/awesome-react

Лол, у треть из этого уже задиприкейчено

или bad practise

flux как реализацию уже закинули, reflux туда же, теперь можный redux

Но это ИМХО, книги я тоже читаю и доки и про все эти осом списки знаю, но быстро, за короткое время получить базовый набор скилов, мне кажется хорошим для старта.

какой самый простой способ вызвать outofmemory?