Но мне прям нравится скорость работы

Кх это весело)

arrayJoin, хочу памяти. хочу еще arrayJoin, но больше памяти в мастер ноду не лезет :(

шутка

Ребят, кто пользовался BeautifulSoup4?

Кх это весело)

особенно радует их фича в одном из релизов, где падающая нода тянула весь кластер за собой)

особенно радует их фича в одном из релизов, где падающая нода тянула весь кластер за собой)

это когда она в зукипере то мусорила?

хотя они вроде сами себя сравнивают с кассандрой: https://www.aerospike.com/blog/comparing-nosql-databases-aerospike-vs-cassandra/

ну они похоже тестировали одну ноду

arrayJoin, хочу памяти. хочу еще arrayJoin, но больше памяти в мастер ноду не лезет :(

Больше памяти богу памяти

Я так однажды психанул и взял сервак на 512 гигов оперативы

это когда она в зукипере то мусорила?

не, там вроде была неправильная работа с памятью

не, там вроде была неправильная работа с памятью

такое тоже было.

но всё ж самое крутое что у них было, это хранение препроцессд-конфигов в /etc

цари просто

только пару релизов назад они это выпилили в /var/

@Tishka17 спасибо, помогло, файл сделал )

Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.

Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.

нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном ?

Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.

info.length UPD: а, мимо тегов...

мутаген у тебя уже есть

@Tishka17 спасибо, помогло, файл сделал )

Я уже не помню о чем ты

пдф )))) и текст )

Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.

vbr слышал?

пдф )))) и текст )

Оу, окей

только не могу теперь понять, некоторые файлы pdfminer не считывает, точнее, читает их пустыми, а pdftotext нормально извлекает текст

Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.

Если в тегах неправильная, только декодировать весь файл и смотреть что получилось. Ну либо как ты сказал в случае cbr

info.length UPD: а, мимо тегов...

Да, это было бы слишком просто:)

vbr слышал?

Нет. Погуглю. Спасибо!!

Кстати, о редиске. Это страшно медленная херня, если не юзать пайплайны

Нет. Погуглю. Спасибо!!

Variable bit rate. Когда битрейт меняется в течение файла

Кстати, о редиске. Это страшно медленная херня, если не юзать пайплайны

Пайплайны?

Variable bit rate. Когда битрейт меняется в течение файла

Да, он там скачет в разных фреймах

Скиньте пожалуйста чаты по вордпресс

Пайплайны?

да

Я не знал что это спец. термин)

Если в тегах неправильная, только декодировать весь файл и смотреть что получилось. Ну либо как ты сказал в случае cbr

Декодировать в последовательность битов?

Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.

там есть padding

и формулы для константного битрейта тоже есть.

но в случае переменного битрейта лучше воспользоваться советом @Tishka17 .

Я редиску юзал как брокер пока в профайлере не увидел, насколько же медленные сеты и геты. Посмотрю на альтернативы

чуваки, кто юзает Pycharm? У вас тоже пропал 32 битный лаунчер после обновы до 19.1?

Декодировать в последовательность битов?

Хз на самом деле как лучше

Я редиску юзал как брокер пока в профайлере не увидел, насколько же медленные сеты и геты. Посмотрю на альтернативы

Медленные? Это ты что туда пихал?

И медленные - это сколько?

Декодировать в последовательность битов?

тебе только ответ нужен? или сама реализация должна быть твоя?

тебе только ответ нужен? или сама реализация должна быть твоя?

потому как можно заставить работать на себя какой-нить ffmpeg или sox

Медленные? Это ты что туда пихал?

В рамках микросекунд медленные

Декодировать в последовательность битов?

https://stackoverflow.com/questions/10437750/how-to-get-the-real-actual-duration-of-an-mp3-file-vbr-or-cbr-server-side для начала

тебе только ответ нужен? или сама реализация должна быть твоя?

Я ещё не оч хорошо понимаю что мне нужно

В рамках микросекунд медленные

Насколько медленные в сравнении с мемкешед

потому как можно заставить работать на себя какой-нить ffmpeg или sox

Тоже вариант, спасибо

Насколько медленные в сравнении с мемкешед

Не сравнивал.

Я ещё не оч хорошо понимаю что мне нужно

посмотри в сторону чего то типа sox -n stat <file> | grep length

https://stackoverflow.com/questions/10437750/how-to-get-the-real-actual-duration-of-an-mp3-file-vbr-or-cbr-server-side для начала

Благодарствую

В рамках микросекунд медленные

Подожди, но ведь pipeline же решает только проблемы большого concurency

посмотри в сторону чего то типа sox -n stat <file> | grep length

Павел, спасибо

Подожди, но ведь pipeline же решает только проблемы большого concurency

Ага

чуваки, кто юзает Pycharm? У вас тоже пропал 32 битный лаунчер после обновы до 19.1?

у меня его никогда и не было ^_^

Ага

Скорость самих get/set от этого не должна меняться

в твоем случае проблема была скорее всего в ожидании получения коннекта из пула

Ну я пока думаю затюнить редиску, а то он у меня часто сбрасывает на диск данные.

Выжмем из ентого, потом посмотрим

Чёт я не втыкаю что за пайплайн

когда в один коннект можно отправить сразу несколько запросов

параллельных

Эм

Окей

про http pipelining слышал?

вот это тоже самое по-сути

Типа мультиплексирование соединения?

Хм. А в чем Профит кроме экономии сокетов?

Хм. А в чем Профит кроме экономии сокетов?

Ну у тебя же обычно пул ограничен

Привет, всем

Привет, всем

nometa.xyz

Ну у меня и клиентов число ограничено

Хм. А в чем Профит кроме экономии сокетов?

был еще пару лет назад хайп вокруг https://github.com/squeaky-pl/japronto когда на питоне выжимали миллион рпс из http-сервера

но этот миллион получался только в случае использования http pipelining'а

но этот миллион получался только в случае использования http pipelining'а

но чистые rps без нагрузки так себе характеристика. узкое место обычно в ковырянии бд и бизнеслогике

Ну у меня и клиентов число ограничено

Каких клиентов?

Каких клиентов?

Клиентов редиса

но чистые rps без нагрузки так себе характеристика. узкое место обычно в ковырянии бд и бизнеслогике

Обычно да, но не всегда. Опять же это лишня нагрузка на cpu и лишний latency

Клиентов редиса

у тебя синхронные приложения?

Я понял, ок. Но боюсь у меня они все равно будут драться за обновление одних данных

Я понял, ок. Но боюсь у меня они все равно будут драться за обновление одних данных

в общем, если кол-во одновременных запросов в редис <= кол-ва коннектов, то профита от пайплайна не должно быть, ну не считая экономии на спичках (сокетах)

А как делают шардинг в редисе обычно?

Можете пожалуйста подсказать где тут ошибка?

@MarkEgorov а ты, кстати, профайлил проблемы со своими медленными запросами в редис без pipeline'а?

Это для бота телеги

А как делают шардинг в редисе обычно?

шардинг по разным инстансам редиса?

шардинг по разным инстансам редиса?

Угу. У меня независимые счётчики, могу их раскидать как угодно

Связано с 9 строчкой

@MarkEgorov а ты, кстати, профайлил проблемы со своими медленными запросами в редис без pipeline'а?

Ага. Я за них с говорю

Кажется, с отступом

Ага. Я за них с говорю

ну я имел в виду, профайлил ли ты в каком именно месте затык происходит?

Угу. У меня независимые счётчики, могу их раскидать как угодно

остаток от деления ключа на кол-во нод ))

Кажется, с отступом

От душы спасибо