@ru_python

Страница 2068 из 9768
 
Andronov
19.01.2017
16:07:09
html

 
Andrey
19.01.2017
16:07:11
хаха, в туториале по aiohttp используют sqlalchemy

 
Nikolay
19.01.2017
16:07:40
html
тогда два вариант - bs4 и lxml

 
Andronov
19.01.2017
16:07:44
bs4 юзать можно, но может уже есть готовые

Google
 
Nikolay
19.01.2017
16:08:13
хаха, в туториале по aiohttp используют sqlalchemy
это ты код опенстека не видел еще

 
bs4 юзать можно, но может уже есть готовые
что готовые? bs4 и есть готовый

 
Andrey
19.01.2017
16:08:31
ну в смысле зачем асинхронный веб фреймворк, если у вас база синхронная

 
БД всегда является узким звеном

 
Nikolay
19.01.2017
16:08:47
ну в смысле зачем асинхронный веб фреймворк, если у вас база синхронная
в опенстеке sqlalchemy скрестили с eventlet

 
и оно, якобы, даже работает

 
Andrey
19.01.2017
16:09:07
ну блин

 
в продакшен я бы это всё не выпустил

 
всё же, торнадо на данный момент лучше всего

 
Dmitriy
19.01.2017
16:09:36
ну в смысле зачем асинхронный веб фреймворк, если у вас база синхронная
https://aiopg.readthedocs.io/en/stable/

 
Andrey
19.01.2017
16:10:04
https://aiopg.readthedocs.io/en/stable/
momoko

 
Nikolay
19.01.2017
16:10:07
в продакшен я бы это всё не выпустил
не, в продакшен aiohttp+SQLAlchemy, наверное, не очень имеет смысл

 
Andrey
19.01.2017
16:10:16
ну а мы про что обсуждаем?)

Google
 
Andrey
19.01.2017
16:10:24
вот я сейчас пилю проект и выбрал торнаду

 
Nikolay
19.01.2017
16:10:43
momoko
нафиг завязка на сторонний эвентлуп, когда есть свой :)

 
Andrey
19.01.2017
16:10:50
поэтому твои сообщения про aiohttp задели за живое (вдруг я облажался)

 
Nikolay
19.01.2017
16:10:53
вот я сейчас пилю проект и выбрал торнаду
ну, это не значит, что она лучше :)

 
просто ты ее выбрал

 
Andrey
19.01.2017
16:11:06
momoko использует торнадовский ивент луп

 
ну, это не значит, что она лучше :)
ну проект то для продакшена, а ты сам сказал, что в продакшен низзя

 
Nikolay
19.01.2017
16:12:02
ну проект то для продакшена, а ты сам сказал, что в продакшен низзя
низзя связку sqlalchemy + aiohttp

 
а aiohttp + aiopg - можно и нужно

 
Andrey
19.01.2017
16:12:34
гм

 
я задумался

 
короче торнада и момоко умеют оба в нативный иолуп

 
Nikolay
19.01.2017
16:15:18
иолуп - не нативный

 
нативный - asyncio

 
и в него умеет уже куча библиотек

 
Andrey
19.01.2017
16:15:35
не

 
у тебя в любом случае есть какой-то event-loop

 
Nikolay
19.01.2017
16:15:53
на тебе крутую ссылку https://github.com/aio-libs

 
Andrey
19.01.2017
16:15:59
просто в питоне 3.5 впилили свой

 
Nikolay
19.01.2017
16:16:14
просто в питоне 3.5 впилили свой
в 3.4

Google
 
Nikolay
19.01.2017
16:16:18
но да

 
Andrey
19.01.2017
16:16:30
ну то есть whats the difference?

 
Nikolay
19.01.2017
16:17:03
ты серьезно? не видишь разницы между встроенной в язык реализацией и пришитым сбоку нитками сторонним кодом?

 
посмотри ссылку, короче

 
Andrey
19.01.2017
16:17:58
tornado может использовать питоновскую реализацию

 
http://stackoverflow.com/questions/34759841/using-tornado-with-aiohttp-or-other-asyncio-based-libraries

 
Andrey
19.01.2017
16:18:30
лучше скажите как сделать такую задачу: есть ~40 гиговая база которая у меня не влезает в память и добыть где=то сервер с 48 гигами не вариант. база представляет собой кей-валуе где и ключ и значение лонг лонг инт. ключи весьма разряженные и случайно/равномерно распределены по диапазону. по ней надо очень быстро бегать и проверять есть ли значение и чему оно равно. доля попаданий около 1%. 99 - мисы. как лучше организовать такую штуку?
насколько быстро надо бегать? в любом случае не получится бегать быстрее скорости чтения диска, так что ищи базу, которая рассчитана на хранение больших объемов, MongoDB, например

 
Andrey
19.01.2017
16:18:44
или я чего-то не понимаю?

 
Nikolay
19.01.2017
16:18:53
я знаю, что он может. Но это костыль, приделанный к костылю

 
зачем, когда уже есть aiohttp?

 
насколько быстро надо бегать? в любом случае не получится бегать быстрее скорости чтения диска, так что ищи базу, которая рассчитана на хранение больших объемов, MongoDB, например
только не mongodb

 
Andrey
19.01.2017
16:19:21
да с чего бы это костыль, если asyncio что там, что там?

 
Nikolay
19.01.2017
16:19:39
насколько быстро надо бегать? в любом случае не получится бегать быстрее скорости чтения диска, так что ищи базу, которая рассчитана на хранение больших объемов, MongoDB, например
lmdb тогда уж

 
Andrey
19.01.2017
16:19:40
просто меняем один event-loop на другой

 
Nikolay
19.01.2017
16:20:07
просто меняем один event-loop на другой
у тебя вся внутренняя структура фреймворка заточена под собственный луп, он не был плагабельным изначально

 
Andrey
19.01.2017
16:20:12
бррр

 
Nikolay
19.01.2017
16:20:25
а теперь пытаются сову на глобус натянуть

 
Andrey
19.01.2017
16:20:33
луп он и в африке луп

 
Nikolay
19.01.2017
16:20:44
нет

 
Andrey
19.01.2017
16:21:04
какая часть фреймворка торнадо заточена под свой луп?

Google
 
Nikolay
19.01.2017
16:21:11
вся :)

 
Andrey
19.01.2017
16:21:17
блядь

 
слив засчитан

 
Nikolay
19.01.2017
16:21:32
не, ну какой вопрос - такой ответ

 
торнадо весь построен вокруг встроенной реализации

 
Andrey
19.01.2017
16:22:14
да с чего бы?

 
пруф или не было

 
Nikolay
19.01.2017
16:22:34
то, что теперь ее пытаются с мясом выковырять и сделать “опциональный” asyncio - это мило, но его до сих пор не могут заставить работать нормально

 
Andrey
19.01.2017
16:22:47
какая часть фреймворка торнадо заточена под свой луп?
вообще-то никакая, там абстрактный луп

Admin
ERROR: S client not available

 
Andrey
19.01.2017
16:22:53
вообще-то никакая, там абстрактный луп
вот да

 
посмотри как nginx работает

 
во фряхе он использует kqueue, в линуксе epoll

 
Nikolay
19.01.2017
16:24:07
во фряхе он использует kqueue, в линуксе epoll
я знаю, как он работает

 
в торнаде на старых версиях питона вообще компилится сишная либа с обвязками вокруг epoll

 
потому что питон его поддерживать начал нормально, кажется, с 2.7

 
Andrey
19.01.2017
16:24:56
да при чем тут старая версия?

 
мы говорим об иолупе на современном питоне на актуальных версиях

 
Nikolay
19.01.2017
16:25:41
в современном питоне на актуальных версиях они работают над тем, чтобы сделать его плагабильным, и оно как-то даже работает

 
но на деле проще взять aiohttp

Google
 
Nikolay
19.01.2017
16:27:08
более того, вот тебе еще пример насчет “плагабильности"

 
Andrey
19.01.2017
16:27:09
1) оно нормально работает 2) чем проще то? вернее, где сложности у торнады?

 
Nikolay
19.01.2017
16:27:15
есть, скажем, https://pypi.python.org/pypi/tornado-uvloop/0.1.6

 
который написан непойми кем и черт его знает, как работает

 
а есть https://pypi.python.org/pypi/uvloop/0.7.2, который интегрирован с asyncio и написан одним из core-разработчиков самого питона

 
и что из них ты возьмешь? вся инфраструктура сейчас развивается вокруг asyncio. Что там они в торнаде делают - это их личные проблемы

 
Andrey
19.01.2017
16:28:41
ээээ

 
речь не об asyncio

 
а об aiohttp vs tornado

 
Nikolay
19.01.2017
16:30:09
а об aiohttp vs tornado
да, то есть нативные корутины, встроенный луп и поддержка разработчиками ядра самого языка против написанной какими-то ребятами сбоку своей реализации асинхронного стека

 
по-моему, выбор очевиден, я потому так и реагирую :)

 
Andrey
19.01.2017
16:30:25
ты передёргиваешь

 
из-за популярности той же торнады, впилили asyncio

 
Nikolay
19.01.2017
16:30:54
ээ?

 
Andrey
19.01.2017
16:31:00
ты думаешь, их наработки не использовались?

 
Nikolay
19.01.2017
16:31:18
я не знаю, но задача стояла вообще не так

 
не было задачи “сделать, как в торнаде"

 
была задача “сделать свой луп и чтобы он поддерживал нативные корутины”

 
проект tulip и соответствующий pep это отлично описывают

 
если с чем сравнивать - то тогда уж с gevent, а не с торнадой

 
Andrey
19.01.2017
16:33:17
ладно, убедил

 
Andrey
19.01.2017
16:33:40
и что из них ты возьмешь? вся инфраструктура сейчас развивается вокруг asyncio. Что там они в торнаде делают - это их личные проблемы
в tornado-uvloop весь интеграционный код состоит из 10 строк ) https://github.com/mehmetkose/tornado-uvloop/blob/master/tornadouvloop/__init__.py

Страница 2068 из 9768