Oleh
😂
Oleg
о, видимо у тебя есть опыт, расскажи
ну как минимум LWT не завезли еще
Oleg
а secondary index'ы и materialized views только недавно в последнем релизе сделали
Pavel
ignite, кстате, никому в проде не попадался?
Tishka17
Я тут вчера спорил за редис / Кассандру
Oleg
ну как минимум LWT не завезли еще
Их вообще непонятно когда сделают, точно не в следующем большом релизе
Tishka17
А у нас в компании говорят новый тренд - переползать на аэроспайк
Crenos️💤
он не умеет этого
https://www.altinity.com/blog/2018/10/16/updates-in-clickhouse
Oleg
о, видимо у тебя есть опыт, расскажи
еще user defined functions нет, но я хз кто их в кассандре использует
Oleg
А у нас в компании говорят новый тренд - переползать на аэроспайк
ну это как замена редису же, но не кассандре
Pavel
https://www.altinity.com/blog/2018/10/16/updates-in-clickhouse
это, как несложно догадаться, немного другое, чем update в классическом понимании.
Crenos️💤
это, как несложно догадаться, немного другое, чем update в классическом понимании.
Немного Но если очень хочется - данные можно изменить
Pavel
Немного Но если очень хочется - данные можно изменить
как показывает практика, эффективнее инсертить новые данные с инкрементом чего нить типа версии
punkgendos
кто-нибудь решал похожую задачу? с помощью selenium скачать файл в текущую папку и закрыть браузер. Я не могу понять, как мне задать папку загрузки. Я делаю через chrome, закачка начинается сразу в папку по умолчанию, которая стоит в настройках хрома. И ещё надо как-то определить, что файл скачался перед закрытием браузера
Pavel
как показывает практика, эффективнее инсертить новые данные с инкрементом чего нить типа версии
у кх вообще довольно богатый внутренний мир. одна концепция его primary key чего стоит
Oleg
ну это как замена редису же, но не кассандре
хотя они вроде сами себя сравнивают с кассандрой: https://www.aerospike.com/blog/comparing-nosql-databases-aerospike-vs-cassandra/
Crenos️💤
Но мне прям нравится скорость работы
Pavel
Кх это весело)
arrayJoin, хочу памяти. хочу еще arrayJoin, но больше памяти в мастер ноду не лезет :(
Pavel
шутка
Farrukh
Ребят, кто пользовался BeautifulSoup4?
Eldar
Кх это весело)
особенно радует их фича в одном из релизов, где падающая нода тянула весь кластер за собой)
Crenos️💤
Я так однажды психанул и взял сервак на 512 гигов оперативы
Eldar
это когда она в зукипере то мусорила?
не, там вроде была неправильная работа с памятью
Pavel
но всё ж самое крутое что у них было, это хранение препроцессд-конфигов в /etc
Pavel
цари просто
Pavel
только пару релизов назад они это выпилили в /var/
Vologymyr
@Tishka17 спасибо, помогло, файл сделал )
Sergey
Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.
👑OGURCHIK🖤
Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.
нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном 😧
Pavel
Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.
info.length UPD: а, мимо тегов...
Pavel
мутаген у тебя уже есть
Tishka17
Vologymyr
пдф )))) и текст )
Tishka17
Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.
vbr слышал?
Tishka17
Vologymyr
только не могу теперь понять, некоторые файлы pdfminer не считывает, точнее, читает их пустыми, а pdftotext нормально извлекает текст
Tishka17
Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.
Если в тегах неправильная, только декодировать весь файл и смотреть что получилось. Ну либо как ты сказал в случае cbr
Sergey
info.length UPD: а, мимо тегов...
Да, это было бы слишком просто:)
Sergey
vbr слышал?
Нет. Погуглю. Спасибо!!
Anonymous
Кстати, о редиске. Это страшно медленная херня, если не юзать пайплайны
Tishka17
Нет. Погуглю. Спасибо!!
Variable bit rate. Когда битрейт меняется в течение файла
Sergey
Variable bit rate. Когда битрейт меняется в течение файла
Да, он там скачет в разных фреймах
.
Скиньте пожалуйста чаты по вордпресс
Sergey
Я не знал что это спец. термин)
Pavel
Всем привет. Вопрос не столько про питон, сколько про работу с файлами в целом, но питон может всё, может и с моим кейсом кто-то сталкивался? Суть такая - нужно по размеру mp3-файла посчитать его длительность и сравнить с эталоном (проверить полный ли файл т.е.). На первый взгляд всё казалось достаточно просто - считываем размер файла через os, считываем битрейт через mutagen, делим, получаем искомое. По факту всё чуть сложнее - реальный размер всегда чуть больше чем должен был бы быть, причём разница не постоянная - я предполагаю что дело именно в мета-информации (тэгах). Но количество этих тегов разное, поэтому постоянную величину тоже не посчитать (одна запись может быть склеена из 1, 5 или n-кусков.). Кто-нибудь знает как посчитать именно размер тела-записи, т.е. длительность аудио-записи? P.S. На всякий случай - считать длительность записи из тегов не вариант, т.к. там неккоректная информация.
там есть padding
Pavel
и формулы для константного битрейта тоже есть.
Pavel
но в случае переменного битрейта лучше воспользоваться советом @Tishka17 .
Anonymous
Я редиску юзал как брокер пока в профайлере не увидел, насколько же медленные сеты и геты. Посмотрю на альтернативы
Anonymous
чуваки, кто юзает Pycharm? У вас тоже пропал 32 битный лаунчер после обновы до 19.1?
Tishka17
Tishka17
И медленные - это сколько?
Pavel
Декодировать в последовательность битов?
тебе только ответ нужен? или сама реализация должна быть твоя?
Pavel
тебе только ответ нужен? или сама реализация должна быть твоя?
потому как можно заставить работать на себя какой-нить ffmpeg или sox
Anonymous
Медленные? Это ты что туда пихал?
В рамках микросекунд медленные
Tishka17
Декодировать в последовательность битов?
https://stackoverflow.com/questions/10437750/how-to-get-the-real-actual-duration-of-an-mp3-file-vbr-or-cbr-server-side для начала
Sergey
Andrew
В рамках микросекунд медленные
Насколько медленные в сравнении с мемкешед
Pavel
Я ещё не оч хорошо понимаю что мне нужно
посмотри в сторону чего то типа sox -n stat <file> | grep length
Oleg
В рамках микросекунд медленные
Подожди, но ведь pipeline же решает только проблемы большого concurency
Oleg
Ага
Скорость самих get/set от этого не должна меняться
Oleg
в твоем случае проблема была скорее всего в ожидании получения коннекта из пула
Anonymous
Ну я пока думаю затюнить редиску, а то он у меня часто сбрасывает на диск данные.
Anonymous
Выжмем из ентого, потом посмотрим
Tishka17
Чёт я не втыкаю что за пайплайн