и вообще в asyncio много избыточного, но там есть тому причины

для скорости можешь добавить процесс

я ж говорю, pypy + twisted дадут больший буст, чем плодить процессы

Раз уж такие пляски пошли, есть один грызун, что любит быстро бегаать...

гошечка не панацея тоже ) как только хочется быстро, сразу свой tcp listener, GOMAXPROCS=1 и плодить процессы по числу ядер.

жара начинается )

жара начинается )

ты про солнце в питере? )

гошечка не панацея тоже ) как только хочется быстро, сразу свой tcp listener, GOMAXPROCS=1 и плодить процессы по числу ядер.

Ну да, есть оверхед на синхронизации потоков )

Ну как, по идее то у каждого своя ниша то, свои минусы

Но видимо у вас прямо таки очень нагруженные приложения. Чито поделать

Но вообще было бы интересно узнать что за приложения, что так всё плохо )

Но видимо у вас прямо таки очень нагруженные приложения. Чито поделать

представь, что у тебя 30млн юзеров )

представь, что у тебя 30млн юзеров )

Юзеров или RPS? :D

Юзеров то это не много ещё

Юзеров или RPS? :D

юзеров. ну и 300krps )

опять же, среднее по больнице не столь важно, сколько ЧНН

Ну это веселее уже. Скалирование дорого слишком? Ну это так, понятно что уже есть что оптимизировать )

Ну это веселее уже. Скалирование дорого слишком? Ну это так, понятно что уже есть что оптимизировать )

дорого или нет - зависит от того, сколько у тебя может 1 процесс. если 3-5krps - дорого. если 600krps - то надо просто две машины, чтобы HA

Угу, ну это понятно что нужно разгружать, середину важно найти, но разве с торнадо и asyncio всё сейчас так плохо, что не подходят? Я их давно юзал, не больше 2кRPS было

Угу, ну это понятно что нужно разгружать, середину важно найти, но разве с торнадо и asyncio всё сейчас так плохо, что не подходят? Я их давно юзал, не больше 2кRPS было

с ними хорошо на pypy, как уже говорил :) f-строки в pypy вообще самый быстрый способ шаблонизации.

дорого или нет - зависит от того, сколько у тебя может 1 процесс. если 3-5krps - дорого. если 600krps - то надо просто две машины, чтобы HA

почему дорого? дорого - спец высокого уровня

Хм, и как на практике себя такой стек показывает в сравнении с той же нодой? Я может что-то выше упустил, но интересен твой опыт )

дорого - кривая архитектура

почему дорого? дорого - спец высокого уровня

спец в любом случае понадобится при таких нагрузках.

почему дорого? дорого - спец высокого уровня

Вот не всегда специалист выского уровня может выделить время на исправление старой кривой архитектуры, когда нужно пилить ещё один проект, но да...

так вроде все знают стоимость 1ядерного сервера на хостингах, где же это дорого?

Хм, и как на практике себя такой стек показывает в сравнении с той же нодой? Я может что-то выше упустил, но интересен твой опыт )

а прекрасно. правда, у меня было больше eventlet+pypy, но процессы жили по полгода и не текли/падали.

Вот не всегда специалист выского уровня может выделить время на исправление старой кривой архитектуры, когда нужно пилить ещё один проект, но да...

выше написал

а прекрасно. правда, у меня было больше eventlet+pypy, но процессы жили по полгода и не текли/падали.

Хм, спасибо. Вообще всё руки не доходили пробенчить самому. Знакомые всё ратуют за ноду, буду теперь советовать в эту сторону смотреть.

так вроде все знают стоимость 1ядерного сервера на хостингах, где же это дорого?

эм... смотри. вот у тебя 3krps на сервер, а тебе надо 300 и желательно с запасом. это значит, что тебе надо 100 процессорных ядер минимум, а для запаса - 200.

500-1000$ нет?

я к тому, что при уже жирном старом проекте возникают свои потребности

уж коли не устраивает парсилка http - пилить свою

эм... смотри. вот у тебя 3krps на сервер, а тебе надо 300 и желательно с запасом. это значит, что тебе надо 100 процессорных ядер минимум, а для запаса - 200.

допустим, эту цифру можно уменьшить в 1.5 раза, из-за hyper threading, но это всё равно ~ 64 физических ядра.

но блин , сколько это времени?

500-1000$ нет?

где такие цены? или речь про аренду?

аренда конечно

купить свой сервак жирный - выйдет дешевле в перспективе

тока его надо обслуживать, что повышает цену

вот ты на своем проекте сравнивал tornado/aiohttp? на своих задачах, свои ручные нагрузочные тесты, зная где у тебя легкий, а где тяжелый запрос?

какие цифры?

я повторюсь, что я не защищаю aiohttp

имхо то, что sanic копирует flask api (при том без болячек вроде thread local переменных) это вообще офигенно, я бы скорее его сейчас взял потому, что на tornado уже не интересно (притензий нет, просто tornado уже не интересно), а aiohttp слишком низкоуровневый

аренда конечно

это будет очень дорого. потому что 4-ядерников надо будет много, а всякие 10-ядерники - дорогие сами по себе.

но по мне проще просто расширить вширь

это будет очень дорого. потому что 4-ядерников надо будет много, а всякие 10-ядерники - дорогие сами по себе.

это десктопные решения, для стоек сервера уже по 64 ядра

вот ты на своем проекте сравнивал tornado/aiohttp? на своих задачах, свои ручные нагрузочные тесты, зная где у тебя легкий, а где тяжелый запрос?

конечно сравнивал.

это десктопные решения, для стоек сервера уже по 64 ядра

а можно линк на железку в которой 64 _физических_ ядра?

https://ark.intel.com/products/94033/Intel-Xeon-Phi-Processor-7210-16GB-1_30-GHz-64-core

я не спец

хостинговое железо намного жирнее

но оно дороже

и дрова свои

https://ark.intel.com/products/94033/Intel-Xeon-Phi-Processor-7210-16GB-1_30-GHz-64-core

это phi. это не процессор вообще, а спец ускоритель.

помню из-за этого в одной конторе держали CentOS только потому, что дров на других системах нету

это phi. это не процессор вообще, а спец ускоритель.

ща поищу, ок

эх, откуда вы берете проекты которые нудно написать, но при том сразу по 300k rps держать. в моем мире пару тысячь пользователей это уже дикий успех, а в 80% случаев проект вообще не доживает или дико мутирует. эх, надо мне завязывать с этими стартапами :(

надо выбирать старт-апы с умом

эх, откуда вы берете проекты которые нудно написать, но при том сразу по 300k rps держать. в моем мире пару тысячь пользователей это уже дикий успех, а в 80% случаев проект вообще не доживает или дико мутирует. эх, надо мне завязывать с этими стартапами :(

так оно видимо старый проект очень, накопилось. С нуля нигде такого не удет, в этом и суть

https://ark.intel.com/products/94033/Intel-Xeon-Phi-Processor-7210-16GB-1_30-GHz-64-core

Recommended Customer Price - $2438.00 очень смешно. это только чип.

так оно видимо старый проект очень, накопилось. С нуля нигде такого не удет, в этом и суть

если взрослый проект то да, верю

Recommended Customer Price - $2438.00 очень смешно. это только чип.

https://3dnews.ru/951118 вот решение для экономных

надо выбирать старт-апы с умом

какие дают и за какие платят :)

ERROR: S client not available

Recommended Customer Price - $2438.00 очень смешно. это только чип.

а тебе что нужно? материнка, оперативка? все это есть

тока к ним еще одмин в придачу , спец помещение и стойки

по итогу проще арендовать

а тебе что нужно? материнка, оперативка? все это есть

там не те ядра, что в обычных xeon. их много, но они относительно слабые и на небольшой частоте.

https://3dnews.ru/951118 вот решение для экономных

там все равно максимум 6 физических ядер. а надо раз в 10 больше )

тока к ним еще одмин в придачу , спец помещение и стойки

коло

https://www.supermicro.com/products/system/7U/7088/SYS-7088B-TR4FT.cfm

лень искать

коло

что за термин? я не в тренде

collocation

ясно

там все равно максимум 6 физических ядер. а надо раз в 10 больше )

Количество ядер/потоков 8/16, делайте горизонтально-маштабизируемые решение или просто ради самого спора?

https://www.supermicro.com/products/system/7U/7088/SYS-7088B-TR4FT.cfm

очень смешно :) самый дешевый E7-8860 v4 стоит 4 килобакса и это 18 ядер. 54 ядра будут стоит 12 килобаксов и это только камни, без шасси, матери итп.

это phi. это не процессор вообще, а спец ускоритель.

вот это почему, объясни? читаю тут https://en.wikipedia.org/wiki/Xeon_Phi

очень смешно :) самый дешевый E7-8860 v4 стоит 4 килобакса и это 18 ядер. 54 ядра будут стоит 12 килобаксов и это только камни, без шасси, матери итп.

слушай, если ты поржать, то давай закроем тему. Как бы я не потехи ради тут копаюсь. Изначально я сказал, что арендовать совсем недорого

Количество ядер/потоков 8/16, делайте горизонтально-маштабизируемые решение или просто ради самого спора?

да понятно, что можно плодить машины. но в случае односокетными решениями мы каждый раз будем платить за материнку, корпус, бп.

да понятно, что можно плодить машины. но в случае односокетными решениями мы каждый раз будем платить за материнку, корпус, бп.

Роман вы кругом правы, спор бесполезен - вы хороший каменьщик

=)

Роман вы кругом правы, спор бесполезен - вы хороший каменьщик

Ну это такой спор, обмен опытом. Я вот почитываю, с железом почти не работал, а интересно

слушай, если ты поржать, то давай закроем тему. Как бы я не потехи ради тут копаюсь. Изначально я сказал, что арендовать совсем недорого

арендовать много - дорого. а стоимость аренды зависит от от стоимости железки. то что вы кинули, не будет в масс-маркете, потому что либо не окупится никогда, либо ценник на аренду будет такой, что никто в здравом уме не возьмёт.

вот это почему, объясни? читаю тут https://en.wikipedia.org/wiki/Xeon_Phi

оно нацелено на ту нишу, где сейчас gpu: вычисления. потому там avx-512 и прочий simd.

резюмируя: на более-менее нормальных объёмах залить проблему железом сильно дороже программиста :)

зато быстрее, если прямо сейчас у тебя нету этого программиста

зато быстрее, если прямо сейчас у тебя нету этого программиста

нууу... 10 стоек или 40 - ощутимо? :)

резюмируя: на более-менее нормальных объёмах залить проблему железом сильно дороже программиста :)

скорее на реально жирных объемах

резюмируя: на более-менее нормальных объёмах залить проблему железом сильно дороже программиста :)

Ну так то факт, баланс нужно иметь и сам проект, где можно понять что требуется ресурсы на разработку. Хватит спорить :D Вы так то спорите на тему этой середины, без контекста - конкретного проекта.

мы когда кодирование видео унесли на видеокарты, у нас освободилась почти стойка хороших серверов )

мы когда кодирование видео унесли на видеокарты, у нас освободилась почти стойка хороших серверов )

Вообще хорошо бы если бы ты там бложик какой вёл, где бы писал на тему таких опытов, бенчей. Это очень такая, нужная инфа. О причинах где там нода показалась плохо, о выводе что f-строки такие шустрые, ну ты понял. На том же медиуме много инфы, но всё "я сидел дома и пилил чатик, у меня на синтетике вот такой вывод, буду писать на C#"

Мне бы, персонально, очень было бы интересно рассмотреть как ты применял гоу, что там не сложилось и почему )

Мне бы, персонально, очень было бы интересно рассмотреть как ты применял гоу, что там не сложилось и почему )

я пока go только трогал да тестики делал =(