делал чтото типа "если название поля заканчивается на _s значит индексировать как строку, если _sa тогда еще анализировать, если _i тогда целое число " офиггено работает, вплоть до того что в нужном месте пое накликивается мышью и через пару секунд оно уже в кибане в нужном формате

делал чтото типа "если название поля заканчивается на _s значит индексировать как строку, если _sa тогда еще анализировать, если _i тогда целое число " офиггено работает, вплоть до того что в нужном месте пое накликивается мышью и через пару секунд оно уже в кибане в нужном формате

спасибо.

делал чтото типа "если название поля заканчивается на _s значит индексировать как строку, если _sa тогда еще анализировать, если _i тогда целое число " офиггено работает, вплоть до того что в нужном месте пое накликивается мышью и через пару секунд оно уже в кибане в нужном формате

Я как то работал с одним программистом, который решил так же именовать GET переменные в веб приложении, написанное на Perl.

Типа "SAl" может быть как String и как Array а сама перменная в итоге будет "l"

Во я плакал с этой схемы )))

чиво? не знаю о чем ты но с эластиком это нормально работает

Просто напомнило.

ага... в vk из за такого подхода смогли компилятор для php написать

А не )) Все еще хуже. Щас перепроверил.

Переменная могла называться subjeCt

Так вот капитализированная буква задавала тип

ага... в vk из за такого подхода смогли компилятор для php написать

Лучше бы девопсов понабрали

Лучше бы девопсов понабрали

а в вк с середины 2007 года всё норм с девопсом было. у них там проблемы вполне были в рамках рабочих.

А этот kphp в итоге где то используется или дальше вк не пошло?

А этот kphp в итоге где то используется или дальше вк не пошло?

тоже помню Паша обещал его релизнуть для всех

лет 5 назад

Да я даже видел исходники на гитхабе вроде, ну и что, если никто это не мейнтейнит

Там где то даже захардкоженные id админов из вк встречаются

тоже помню Паша обещал его релизнуть для всех

ну он и лежит на github. но Паши нет, команды нет, он никому не нужн

https://github.com/hippyvm/hippyvm вон какая штука ещё есть

ох. это реализация PHP на python поверх ruby в JVM ?

HOLY SHI*

если да, должно работать очень быстро.

Я раз наблюдал эталонное решение для сетевой инвентаризации. Оболочка на MHT, внутри кастрированный jQuery, который формирует запросы WMI а ответы складывает в XML

если да, должно работать очень быстро.

Issues: > Hex2bin is 5-7 times slower than PHP's implementation > Missing PHP functions needed to run DokuWiki > Warnings slow down code quite a lot

ух ты. всего 5-7 раз ?

ох. это реализация PHP на python поверх ruby в JVM ?

это реализация php на python. которая соответственно есть такая и такая

ну вообще сам питон по уровню производительности сопоставим с php, видимо, тут нет никаких оптимизаций

@pragus расскажи им про PyPy умными словами. принципы Футамуры там и всё такое

ну вообще сам питон по уровню производительности сопоставим с php, видимо, тут нет никаких оптимизаций

это на rpython

PyPy - это такая инфраструктура для создания интерпретаторов с jit. ну и ещё реализация python :)

в зависимости от задачи pypy может быть быстрее или медленнее обычного cpython. на удачном коде всё ускоряется в десятки раз, среднее по больнице - 6-8 раз.

а я праивльно нонимаю что то исследовательский проект ?

и ничего общего с "продуктивом" не имеет

а я праивльно нонимаю что то исследовательский проект ?

в каком-то роде да. но в продакшене его используют

а я праивльно нонимаю что то исследовательский проект ?

hippyvm - похоже под что-то свое делали. а PyPy - его дофига в продакшене

хм. ну вот у меня сейчас проект на python 2.7. и чего если я поменяю в виртуаленве интерпретатор на pypy можно будет выкинуть пару тройку серваков ? или это как то сложнее ?

я обычно на python3 делаю проекты (уже давно), с pypy не работал, так как не было необходимости оптимизировать скорость

но там не 100% совместимость

в самом проекте, возможно, что-то придётся менять

а Python3-совместимый релиз PyPy - обеспечивает совместимость с Python3.2.5, что уже довольно устаревшая версия (сейчас обычно используют Python3.4 или Python 3.5)

например, последняя Django работать не будет на такой старой версии

это те кто перешли на трешку.

я обычно на python3 делаю проекты (уже давно), с pypy не работал, так как не было необходимости оптимизировать скорость

Вот вот, фишка в том что в реальном продакшене далеко не всегда критичен perfomance и в него что-то упирается ;)

да в общем-то для новых проектов имеет смысл трёшку брать, так как все проекты совместимы уже практически (ну, процентов 92-95%)

старые проекты на python2 могут спокойно жить до 2020

Вот вот, фишка в том что в реальном продакшене далеко не всегда критичен perfomance и в него что-то упирается ;)

мне вот критичен

http://py3readiness.org/

мне вот критичен

Тогда наверно надо задуматься о том чтобы переписать какие-то части на go/java etc.

Потому что играться со всеми этими трансляторами в компиляторы интерпретаторов поверх python через ruby на основе jvm - себе же дороже выйдет.

там обычно сначала с базу данных упираться начинает

в*

то есть придумываются всякие кеши или идёт переход на NoSQL

Так а причем тут pypy тогда вообще, это другой разговор

не, я имел в виду, что если у вас простой проект и вдруг появилась большая нагрузка - проблема будет не в питоне

а в базе данных

то есть сначала вы будете PostgreSQL тюнить и всякие кеши настраивать, а о производительности самого питона уже потом думать

если захотеть - можно сильно заморочиться и переделать шаблоны, например, вот так https://habrahabr.ru/post/119582/

а ту же джангу можно попробовать заменить на https://aiohttp.readthedocs.io/en/stable/

ну и вот уже потом, после этих всех оптимизаций смотреть, что даст переход с обычного cpython'а на pypy

пропустил этап очередей. и впиливания кешей везде. а так же тюнинг планировщика заданий.

Потому что играться со всеми этими трансляторами в компиляторы интерпретаторов поверх python через ruby на основе jvm - себе же дороже выйдет.

pypy - не транслятор. это интерпретатор с jit.

там обычно сначала с базу данных упираться начинает

нет, потому что спасают разного рода кеши.

ну первая-то версия без кешей

ERROR: S client not available

кеши как раз возникают когда начинает упираться в базу и нужно что-то делать

разного рода кеши на мелком проекте не нужны и появляются при масштабировании с 100 до 10000 единиц обслуживания

да , согласен, зачем усложнять простые проекты

когда простой проект - тут важнее скорость разработки и стоимость поддержки.. зачастую заказчики сами не знают, пойдут у них эти новые проекты или нет, им важно протестировать идею

ну и в моем случае кеши не особо помогут )

хм, а что за нагрузка такая ?

да, в некоторых случаях нет возможности кешировать, к сожалению

вот благодаря контейнерам, облакам и прочему тут можно непохо масштабировать - в часы пик запускать больше контейнеров, а потом вырубать их

если речь идёт о серверах в собственных датацентрах - тут можно через IPMI включать/выключать эти серверы в нужное время

вот благодаря контейнерам, облакам и прочему тут можно непохо масштабировать - в часы пик запускать больше контейнеров, а потом вырубать их

И как же это поможет?

Чем больше читаю этот чат, тем больше радуюсь, что мы решили не использовать докер. Столько проблем на ровном месте, ппц.

И что вы используете вместо?

У меня что с контейнерами 24 хоста, что без контейнеров

ну тут речь больше о том, что если контейнеры не нужны - зачем им там занимать оперативку, можно остановить, а серверы вообще выключить чтобы за электроэнергию не платить

то есть в часы пик у вас 10 серверов работает, а обычно 3

включаете только когда реально нужно

и всё это автоматизировано

а в облаках там могут деньги брать за потраченные ресурсы, а не за месяц аренды

то есть чем меньше по времени у вас контейнер работает - тем дешевле получается для вас

то есть когда он не нужен - вы его выключаете и деньги больше не капают за это

то есть логичным будет поддерживать среднюю нагрузку на сервер около 40% , как только скрипт видит, что нагрузка стала значительно больше - он включает дополнительные серверы

и запускает там дополнительные контейнеры для приложений, на которые идёт нагрузка

думаю, это как-то через Kubernetes + IPMI делается

И что вы используете вместо?

LXC + Ansible + Git.

хм, а что за нагрузка такая ?

видео в интернетики вещаем.

то есть в часы пик у вас 10 серверов работает, а обычно 3

у меня 1 процесс может уложить 10Гбит/с. т.е. грамотно написанное приложение упирается в сеть, а не в вычислительные ресурсы.

а, ну, тогда вам, наверное, нужно больше каналов (или толще) для доступа в интернет и локалка с каналами потолще - какие-нибудь свитчи с портами на 40 или 100Гбит/с типа https://www.supermicro.nl/products/accessories/networking/SSH-C48Q.cfm и карточками https://www.supermicro.nl/products/accessories/addon/AOC-SHFI-i1C.cfm в самих серверах

и платная версия nginx, там вроде эти задачи решаются как-то

Александр, думается мне эти вопросы у Романа уже решены.

ну да, если проект онлайн - как-то оно там, значит, работает

> LXC + Ansible + Git. а вы не сравнивали Ansible с Salt Stack?

Я сравнивал с Puppet.

там вроде 4 популярные системы - ansible, saltstack, chef, puppet, первые две на питоне, вторые две на руби