так, дальше под gevent?

Да. pypy + gevent

А дальше vmprof

Смотришь где у тебя jit не работает

Рома, pypy - это про оптимизацию. И он, возможно, понадобится

планируемые 50к могут и не произойти, а без нормальной распределенки и 10к никогда не потащишь

Ну, я про то, что надо написать по фигу на чем, правильно распределить, а потом масштабировать и оптимизировать, чтобы меньше масштабировалось

Правильно распределить сейчас можно что угодно

Рома, pypy - это про оптимизацию. И он, возможно, понадобится

Это да :) но неплохо бы иметь хорошие цифры со старта

Это да :) но неплохо бы иметь хорошие цифры со старта

Но писать то сейчас только на 3.5+ можно

Если нет цели "любой ценой на одной железке", то лучше взять 4 машины и балансить ipvs

Цели нет, но теперь есть интерес на 400krps )

Цели нет, но теперь есть интерес на 400krps )

Hello world в вакууме

ну и опять же что это за запросы в твоём случае? просто моментальный ответ?

Цели нет, но теперь есть интерес на 400krps )

Тебе 10g понадобится. Либо агрегация

В реальном проекте ты максимум статику так сможешь отдавать

В реальном проекте ты максимум статику так сможешь отдавать

Ну почему же :) я вот в редис ходил :)

Ну почему же :) я вот в редис ходил :)

В локальный, не кластер?

Собирал за 100ms запросы и батчем в редис :) ну и кеш в shm :)

Короче, вакуум

В локальный, не кластер?

Кластер в редисе какой-то странный :)

Вообщем, хайлоад - это соревнование по чтению/записи памяти :)

А кто из вас трогал LMDB?

вчера вроде рекомендовали тут app enlight, кто-то пробовал его? он как селфхостед решение только или у них можно храниться? не могу найти инфу

я его как сервис юзаю

А, отлично, надо будет зарегистрироваться, спасибо

кстати, вроде не было ещё https://github.com/universe-2016

теперь код ревью есть и таск-треккер как в трелло

https://www.youtube.com/watch?v=qwLDACQeWBI - немного октоняшности в тред, уж простите :)

вот Алексей скидывал

кстати, вроде не было ещё https://github.com/universe-2016

ответ гитлабу;) те первые кодеревью успели дохачить

и таск-трекер тоже

суп, чят

кто нить знаком с такой штукой?

https://github.com/quantmind/pulsar

ну т.е. оно не про веб

а про то как писать приложение свое в актор стиле

угу

знаком?

неа, сейчас посмотрел

короче в целом идея интригует, меня вообще всякие штуки типа pluggy интригуют

тут вот очередная надежная модель исполнения

вот что было бы круто

если бы оно было именно фреймворком создания компонентной системы, как плагги прям только на воркерах, чтобы всякие свистелки типа ентри поинтов из сетуптулс были и вот это вот всё

пока оно какое то голенькое

типа пишешь компонент а система сама решает как он будет взаимодействовать с другими компонентами - через IPC, http, rabbit, sockets

или просто внутренний dto какой то может юзать если это в рамках одного потока

более того компоненты системы могут быть написаны на других языках

мне кажется этот пульсар многословным

и ещё не понятно что у этой конструкции со скоростью

хм, пример довольно лаконичный

скорость тут не главное

я не понимаю зачем городить акторы без вытесняющей многозадачности

чтобы локов меньше было

лок у тебя там и так один )) и зовётся gil

пока поток у меня один клал я на гил

а он у меня может быть один

я вообщем-то о чем: мы вот такие прониклись акторами и решили написать что-то используя этот pulsar

супервизоры и вот это всё.

но по ошибке в акторе накатали busy loop

нада как в эрланге

кооператив с вытеснением

который сожрёт всё. и супервизоры и вот это всё не поможет.

ну правильно да

так то аргумент ну такой себе, сейчас написано дофига под асинкио например

там ровно это

написал говно - повесил всё

вообщем, была бы ручечка в интерпретаторе "после исполнения такого-то количества инструкций байткода и прыгнуть в специальный хендлер"

ммм

ERROR: S client not available

не все так просто

инструкцииоченб недетерминированные по времени

ну, в эрланге процесс в busy loop не ушатает всё.

при этом атомарные

ну, в эрланге процесс в busy loop не ушатает всё.

ну я ж об том жеж

вот в эрланге прикольна платформа как раз, этого не хватает в рульсаре

типа прозрачно пишется распределенка

код внутри потока не думает как ему общаться с другим потоком, способ один только

код внутри потока не думает как ему общаться с другим потоком, способ один только

Когда сделаешь shared memory для нескольких процессов питоновских, тогда поговорим

файловая система

это рас

во вторых нафига?)

акторы как раз существенно не имеют шаред стейта

во вторых нафига?)

Потому что очереди

ну да, шаред стейт не нужен, нужны очереди

я о том же

Вообще, можно, конечно наворотить с 33-я уровнями абстракции, чтобы работало.

Но я не буду это дебажить

стоп, ты о чем

Я ерланг то задолбался дебажить в свое время.

процессы в питоне и так через очередь болтают

multiprocessing.queue

Ну, блин, это код, который будет работать как py.test. понимаешь?

да

не так

он будет работать не так как питест

И понять что и где там застряло, почему в какую трубу улетело, это будет ад

ну это типично для распределенного приложения же

я просто фантазирую о таком ML стайле

мелкомасштабные проектирование и крупномасштабное становятся одинаковыми

а вся тонкота и гемор уходит в платформу которую пишут умные люди

У тебя будет n-воркеров в процессе + m-процессов и чахорда пайпов между ними. И три слоя абстракции в роутинге