@spbpython

Страница 482 из 785
 
Roman
12.08.2017
08:34:36
Я сейчас использую вот это для чтения http://www.scikit-video.org/stable/index.html Оно просто дёргает ffmpeg через subprocess. Возможно, какое-то время тратится на конвертацию в numpy.
Ээээ... Через subprocess - это ж адово медленно

 
Mehti
12.08.2017
09:20:49


 
Dmitry
12.08.2017
09:23:20
ого)

 
Eugene
12.08.2017
09:45:51
Ээээ... Через subprocess - это ж адово медленно
Из того, что шевелится и не использует subprocess есть только pyav, но оно полно багов и не работает на моих тестовых файлах.

Google
 
Александр
12.08.2017
12:38:35
Есть знатоки ffmpeg? Декодер H.264 там многопоточный? Ковыряюсь тут с одной задачкой обработки видео. Попробовал заюзать мультипроцессинг и... ничего. :) Однопроцессорный код: 3836 tests/data/Test_30.mp4 7.01s 3836 tests/data/Test_31.mp4 5.89s 3836 tests/data/Test_32.mp4 7.69s 3836 tests/data/Test_33.mp4 7.55s 28.64s Многопроцессорный код (4 воркера): 7204 tests/data/Test_31.mp4 13.34s 7548 tests/data/Test_30.mp4 19.32s 7228 tests/data/Test_33.mp4 21.22s 3580 tests/data/Test_32.mp4 21.29s 22.21s То есть совершенно бесполезно использовать мультипроцессинг в данном случае :(.
Такое может происходить, так как твой пакет не отключает gil. В документации даже написано про то, что многопоточный запуск может даже замедлять выполнение кода. Поправь, если не прав...

 
Eugene
12.08.2017
12:43:35
Такое может происходить, так как твой пакет не отключает gil. В документации даже написано про то, что многопоточный запуск может даже замедлять выполнение кода. Поправь, если не прав...
Gil не при чем, там мультипроцессинг же.

 
Александр
12.08.2017
12:52:43
Gil не при чем, там мультипроцессинг же.
Прошу прощения, ошибся.

 
Roman
12.08.2017
21:54:39
gil не помеха для многопоточного кода.

 
Dmitry
13.08.2017
07:45:15
Есть знатоки ffmpeg? Декодер H.264 там многопоточный? Ковыряюсь тут с одной задачкой обработки видео. Попробовал заюзать мультипроцессинг и... ничего. :) Однопроцессорный код: 3836 tests/data/Test_30.mp4 7.01s 3836 tests/data/Test_31.mp4 5.89s 3836 tests/data/Test_32.mp4 7.69s 3836 tests/data/Test_33.mp4 7.55s 28.64s Многопроцессорный код (4 воркера): 7204 tests/data/Test_31.mp4 13.34s 7548 tests/data/Test_30.mp4 19.32s 7228 tests/data/Test_33.mp4 21.22s 3580 tests/data/Test_32.mp4 21.29s 22.21s То есть совершенно бесполезно использовать мультипроцессинг в данном случае :(.
Как оформлять в tg моноширинный текст?

 
Dmitry
13.08.2017
07:46:23
бэктиками

 
Roman
13.08.2017
08:00:25
print "python2 - лучший python!"

 
Александр
13.08.2017
08:13:31
print "python2 - лучший python!"
Запустим этот код на python3. Хм, выводится ошибка. Теперь запустим на python2. Работает отлично. python2 действительно лучший ?

 
Dmitry
13.08.2017
08:28:18
бэктиками
если менее четырёх строк. иначе паста-сервисы

 
Roman
13.08.2017
08:45:16
Запустим этот код на python3. Хм, выводится ошибка. Теперь запустим на python2. Работает отлично. python2 действительно лучший ?
Шаришь!

 
Sergey
13.08.2017
08:48:37
если менее четырёх строк. иначе паста-сервисы
можно каждую строку выделять бэктиками, тогда сколько хочешь

 
amureki
13.08.2017
08:52:50
можно каждую строку выделять бэктиками, тогда сколько хочешь
Всё равно тяжело стены кода читать внутри чата

 
Michael
13.08.2017
09:16:07
print "python2 - лучший python!"
Рома бросай это...

Google
 
Dmitry
13.08.2017
09:26:19
можно каждую строку выделять бэктиками, тогда сколько хочешь
я ж не про техническое ограничение. Это старое правило про четыре строки из ирки :)

 
Roman
13.08.2017
10:11:42
HighLoadCup Official Официальная группа для участников чемпионата highloadcup https://t.me/highloadcup

 
но пока вроде и без этого норм, последняя версия вообще сильно шустрее и почти нет ошибок)

 
Максим, а веб-сервер каой?

 
свой собственный

 
libev,picohttpparser,libcoro(опционально) - это не секрет

 
Хехе. Пришли сишники и все испортили

 
Serge
13.08.2017
13:16:19
Твоя? Или название приглянулось?

 
b0g3r
13.08.2017
13:25:26
https://github.com/PyCQA/redbaron ?)

 
Ilia
14.08.2017
10:40:37
А от чего такое может быть - слайс достаточно длинной строки байтов отдаёт пустую строку? Например, при len(s) == 1000, берём s[100:200] - пустая строка, s[150:200] - то же самое.

 
b0g3r
14.08.2017
10:41:19
пустая байт-строка?

 
Ilia
14.08.2017
10:43:01
Ага, причём b[300:350]==b[350:400] даёт True

 
Вот только проверил

 
b0g3r
14.08.2017
10:44:13
могу предположить, что там \x00

 
осталось только спросить, как ты проверяешь пустость)

 
Ilia
14.08.2017
10:44:29
Так, возможно пучарм не пишет эти байты никак

 
Да, действительно, длина у срезов всё таки не нулевая

 
b0g3r
14.08.2017
10:46:13
как проверяешь пустость? печатаешь?

 
Ilia
14.08.2017
10:48:09
Да, вывожу значения в терминал или в дебаггере смотрю

 
Я уже понял что там не пустые срезы, осталось понять что там

Google
 
b0g3r
14.08.2017
10:48:31
попробуй выводить repr() от объекта

 
Ilia
14.08.2017
10:49:19
О спасибо, действительно забито \x00

 
b0g3r
14.08.2017
10:49:25
ура

 
Ilia
14.08.2017
10:49:56
Коварный байт

 
Алексей
14.08.2017
11:06:04
господа а не бывает ли какого то кастомного psycopg совместимого драйвера который бы уже был инструментирован?

 
хочу весьма обычные штуки типа время выполняения каждого запроса и такое вот

 
Roman
14.08.2017
12:35:30
хочу весьма обычные штуки типа время выполняения каждого запроса и такое вот
А чо не влепить декоратор?

 
Alexander "PekopT"
14.08.2017
14:39:50
Всем привет =)

 
15-21 ничего не планируется?)

 
Августа

 
Алексей
14.08.2017
14:41:04
А чо не влепить декоратор?
на мониторинговом митапе товарищ из дропбокса говорил что у них это делается на стороне драйвера. мне показалось это правильной мыслью

 
Sergey
14.08.2017
14:46:02
15-21 ничего не планируется?)
Самое ближайшее, вроде, 31 — дринкап

 
Chikiro
14.08.2017
14:47:49
хочу весьма обычные штуки типа время выполняения каждого запроса и такое вот
Может логирование подойдет? http://initd.org/psycopg/docs/extras.html#logging-cursor

 
Michael
14.08.2017
14:50:31
хочу весьма обычные штуки типа время выполняения каждого запроса и такое вот
https://github.com/dalibo/pgbadger

 
Алексей
14.08.2017
14:50:50
это всё хорошо, но с другой стороны.

 
с той то я всё знаю.

 
в этот канал я написал к програмистам на питоне у который есть желание понять какая скорость выполнения запросов у них

 
Michael
14.08.2017
14:51:54
Так лог постгри открой и смотри

 
как программист на питоне собсвенно и делает =)

 
ну плюс метрики с приложения снимать

Google
 
alex
14.08.2017
14:54:12
explain analyze зачем питон

 
Алексей
14.08.2017
14:56:34
я хотел бы иметь метрику о том сколько выполняется _каждый_ запрос в базу

 
с каждого из хостов

Admin
ERROR: S client not available

 
Алексей
14.08.2017
14:57:12
у меня несколько хостов которые могут делать выборки. время между ними может отличасться.

 
факт того что мне эксплейн отдал что запрос выполняется за 30мс не означает что он будет выполняться за 30мс в проде.

 
поэтому надо собирать это время и отдавать в виде перцентилей.

 
я могу как это праивльно сказал @pragus сделать это через декоратор, куда долбануть prom_client и собрать это в виде гистограммы. но тогда это потребует в 100500 мест вносить этот декоратор

 
но быть может уже есть вариант psycopg2 драйвера который это уже делает.

 
Michael
14.08.2017
15:03:18
факт того что мне эксплейн отдал что запрос выполняется за 30мс не означает что он будет выполняться за 30мс в проде.
Это факт того, что, что-то ты не так делаешь... в алхимии ты можешь повесить слушателя на выполнение запроса и не только, в джанге хз

 
Алексей
14.08.2017
15:03:41
такую стату умеет собирать new relic. но у меня приватный проект и его нельзя

 
тут вот они про это пишут https://docs.newrelic.com/docs/agents/python-agent/getting-started/instrumented-python-packages

 
Это факт того, что, что-то ты не так делаешь... в алхимии ты можешь повесить слушателя на выполнение запроса и не только, в джанге хз
алхимия и джанга это слишком высоко по абстракциям. надо ниже.

 
Dmitry
14.08.2017
15:06:56
Самое ближайшее, вроде, 31 — дринкап
именно так.

 
amureki
14.08.2017
15:12:53
https://morepypy.blogspot.de/2017/08/lets-remove-global-interpreter-lock.html

 
эт уже обсудили?

 
Dmitry
14.08.2017
15:15:00
> AUGUST 14, 2017 > Let's remove the GIL here we go again..

 
amureki
14.08.2017
15:17:50
история движется по спирали?)

 
Dmitry
14.08.2017
15:23:07
впрочем, речь всё же о pypy

 
Stepan
14.08.2017
15:26:54
грусто конечно, что пока там в очередной раз переписывают jit в v8, mono бороздит смартфоны, красноглазые все переписывают на go с микросервисами и тд... cpython застрял в 80х со своим байткод интерпритатором и jit ?

Google
 
Sergey
14.08.2017
15:28:02
грусто конечно, что пока там в очередной раз переписывают jit в v8, mono бороздит смартфоны, красноглазые все переписывают на go с микросервисами и тд... cpython застрял в 80х со своим байткод интерпритатором и jit ?
а руби где застрял?

 
Stepan
14.08.2017
15:28:18
в Японии )

 
Ну или в CRUD-нише, но я так понял новой крови там мало, в основном на рельсах фигачат уже опытные чуваки, а новые поколения рельсами особо не интересуются, что вылевается в то, что новых разработчиков не найти. Но старичкам-рельсовичкам надо отдать должное - один такой за пару дней накидает MVP, пока js-хипстеры будут неделю настраивать webpack.

 
При том говорят, что в Японии Ruby прям полноценный и любимый язык, в то время как в остальном мире фактически Rubby = ROR

 
Dmitry
14.08.2017
15:57:39
кстати очень интересная штука про японию http://engineering.appfolio.com/appfolio-engineering/2017/5/24/how-is-ruby-different-in-japan

 
Constantine
14.08.2017
16:04:36
про японию достаточно знать то, что студент с образованием без опыта попадёт на работу и будет получать 2к баксов без учета вычета и это нормально )

 
Алексей
14.08.2017
16:05:13
про японию достаточно знать то, что студент с образованием без опыта попадёт на работу и будет получать 2к баксов без учета вычета и это нормально )
это аргумент или контраргумент ?

 
Stepan
14.08.2017
16:06:16
про японию достаточно знать то, что студент с образованием без опыта попадёт на работу и будет получать 2к баксов без учета вычета и это нормально )
ну я так понимаю, там на 2к не очень-то разгуляешься

 
Ruslan
14.08.2017
16:06:28


 
раз уж про японию

 
Constantine
14.08.2017
16:07:22
ну я так понимаю, там на 2к не очень-то разгуляешься
там и на 3к не разгуляешься

 
это аргумент или контраргумент ?
я бы сказал, что это в некоторой степени аргумент, что ИТ там приближен ко всем смертным ? то есть у них нет такой четкой черты. что ИТшник будет получить сильно больше остальных, как в большинстве стран

 
ееее, пхп в топе

Страница 482 из 785