в смысле, почему это отдельные файлы?
так сложилось, что отдельные
tfhx8
Tishka17
заебись объяснил
Tishka17
чобля
Tishka17
пикл?
Tishka17
выкинь нахуй
Tishka17
просто вот сразу
tfhx8
ну он по скоростям вроде как нормальный
Tishka17
он не для сохранения в файл
Pasha MK
tfhx8
в чем тогда лучше хранить?
Tishka17
@tfhx8 почини
Tishka17
$ cat 1.py
import pickle
class B:
pass
class A:
def __init__(self):
self.b = B()
with open("a.pickle", "wb") as f:
pickle.dump(A(), f)
$ cat 2.py
import pickle
class ClassB:
pass
class ClassA:
def __init__(self):
self.b = ClassB()
with open("a.pickle", "rb") as f:
a = pickle.load(f)
почини
tfhx8
чтобы быстро открывать и распаковывать?
Tishka17
приудмали себе проблем из пустоты и нас спрашивают что делать
tfhx8
текстовые файлы, которые после пикла преобразуются в словарь
Tishka17
пздц
tfhx8
сейчас все работатет
Tishka17
текстовые файлы, которые после пикла преобразуются в словарь
"ХУЙСОСИСКА" преобразуй плиз в словарь
tfhx8
просто надо все это дело ускорить, если есть возможность
Bogdan (SirEdvin)
Если вам нужно хранить данные где-то между файлами и оперативкой это похоже на бд
Bogdan (SirEdvin)
Возьмите TiDB (просто потому что)
Alex
текстовые файлы, которые после пикла преобразуются в словарь
JSON \ BSON \ Msgpack \ база данных \ что-нибудь еще
Tishka17
текстовые файлы, которые после пикла преобразуются в словарь
смотри идея: если у тебя миллион одинаковых файлов - ты можешь открывать только один =D
Alex
все что угодно но не пикл
Tishka17
круто я придумал?
tfhx8
tfhx8
JSON \ BSON \ Msgpack \ база данных \ что-нибудь еще
что из этого будет быстрее при распаковке небольших разных файлов?
Tishka17
ну блин. если у тебя все файлы содержат только имя файла, файлы сами можно не открывать даже
Tishka17
потому что ты уже сделал какую-то хуйню
Bogdan (SirEdvin)
Я рискую нарватся, но помимо того, что pickle капец несекьюрный, в нем еще есть проблемы что ли?
Tishka17
Pickle плохо, потмоу что:
1. Небезопасно (https://habr.com/ru/company/otus/blog/353480)
2. Формат жёстко привязан к внутренней структуре кода
3. python-only
Alex
потому что а) небезопасно б) непереносимо
Bogdan (SirEdvin)
Я рискую нарватся, но помимо того, что pickle капец несекьюрный, в нем еще есть проблемы что ли?
А, да, копирование сингтонов
Bogdan (SirEdvin)
И вообще внутренней структуры + куча вещей, которые не пиклятся нормально
Tishka17
Tishka17
Я рискую нарватся, но помимо того, что pickle капец несекьюрный, в нем еще есть проблемы что ли?
https://t.me/ru_python/979764
Alex
Я рискую нарватся, но помимо того, что pickle капец несекьюрный, в нем еще есть проблемы что ли?
он прибит гвоздями к версии кода
tfhx8
зачем его вообще не снесут?)
Tishka17
ну это я понял. Что тогда быстрее из предлженного варианта?)
быстрее - то, что сделаешь нормально, а не как попало
Tishka17
и ещё пары служебных применений
Alex
для subprocess например
Alex
для IPC если это одно и то же приложение.
Valery
я не понял, можно пожалуйста поподробней
это команда POSIX совместимых систем
man iconv
если ты под виндой
https://docs.microsoft.com/en-gb/windows/wsl/install-win10
Alex
хм... интересно почему микроскопы не снесут, если ими гвозди забивать нельзя
tfhx8
сейчас все работает и приоритет скорости выше всего. Просто стоит ли овчинка выделки преобразовывать пикл в другие форматы именно в целях скорости распаковки?
Alex
сейчас все работает и приоритет скорости выше всего. Просто стоит ли овчинка выделки преобразовывать пикл в другие форматы именно в целях скорости распаковки?
если тебе важна скорость - ищи бенчмарки
Tishka17
разных
короче пока ты опишешь какого рода инфу ты собираешься хранить и каокго типа операции будут, мы тебе не дадим решение
Alex
или сам тестируй
Tishka17
сейчас все работает и приоритет скорости выше всего. Просто стоит ли овчинка выделки преобразовывать пикл в другие форматы именно в целях скорости распаковки?
у тебя там петабайты маленьких пикликов?
tfhx8
если тебе важна скорость - ищи бенчмарки
смотрел. Что то у всех разное. Но приглидеся к маршалу. Что можешь сказать насчет него?
Tishka17
такая же хуйня как пикл
Tishka17
терабайты?
Sergey
Может кто подскажет годные уроки, статьи по pyside?
Tishka17
официальная документация может?
tfhx8
да, я его даже юзаю в одном проекте. Правда не в файл
чтобы его использовать, надо конвертировать пикл файлы в его формат?
Tishka17
фак
Tishka17
перестань заниматься хуйней
Alex
Может кто подскажет годные уроки, статьи по pyside?
уу ну тут все сложно. есть куча разрозненных материалов. возьми какую-нибудь свежую книгу по Qt \ PyQt \ PySide что найдешь,
Alex
и документацию к самой Qt + статьи у PySide
Alex
документация у PySide к биндингам весьма дерьмовая, лучше пользоваться той, которая для С++
Alex
в доке для плюсов есть внятные описания классов с примерами
Anonymous
Artem
Anonymous
Ща гляну