@ru_python
Tishka1723.01.2019
08:19:16
08:19:16
ну, я могу сказать “не стоит юзать pickle никогда”, но в случае нейросетей все так делают похоже
Tishka1723.01.2019
08:20:06
08:20:06
ну вот и ответ
GoogleTishka1723.01.2019
08:20:11
08:20:11
написано же
“Мы не поддерживаем загрузку пиклов от второго питона в третий”
Dark23.01.2019
08:20:46
08:20:46
просто пикл удобен тем что можно не париться над тем что ты сохраняешь
макс23.01.2019
08:21:10
08:21:10
ну, я могу сказать “не стоит юзать pickle никогда”, но в случае нейросетей все так делают похоже
почемупикл быстрее жсона и умеет сохранять все
Tishka1723.01.2019
08:21:37
08:21:37
почему
потому что дыра в безопасности. Pickle годится только для передачи в пределах процесса и его форковсозхранять на диск - значит надеяться что никто ег оне отредактирует и ты не выполнишь rm -rf вместо своего кода
естественно это можно компенсировать другими мерами безопасности
но как правило об этом не думают
вторая причина - ты привязываешь фомрат файла к структуре кода
то есть банально переменовать классы уже будет проблема
Zerogoki23.01.2019
08:24:19
08:24:19
Тишка хуйни не скажет
Google
noName23.01.2019
08:24:46
08:24:46
Tishka1723.01.2019
08:25:39
08:25:39
ну грубо - дамп питоновских объектов.
Soso23.01.2019
08:25:49
08:25:49
Не мерьтесь п...ок
Zerogoki23.01.2019
08:25:54
08:25:54
Тишка — главный авторитет тут
Soso23.01.2019
08:26:23
08:26:23
Дали совет, а прислушаться или нет это вопроч личной гигиены
GoogleZerogoki23.01.2019
08:28:41
08:28:41
Andrew23.01.2019
08:29:01
08:29:01
удали
Soso23.01.2019
08:30:00
08:30:00
Плохо
Soso23.01.2019
08:30:12
08:30:12
Жаль нет как в имо
noName23.01.2019
08:30:17
08:30:17
я не разрешал себя публиковать
Soso23.01.2019
08:30:38
08:30:38
Вдруг осознал свое глупое поведение и удалил
Zerogoki23.01.2019
08:30:55
08:30:55
Тихо. Тишка что-то пишет
Tishka1723.01.2019
08:31:20
08:31:20
clf = joblib.load(os.path.join(model_path, 'svm.model'))
ругается
ValueError: You may be trying to read with python 3 a joblib pickle generated with python 2. This feature is not supported by joblib.
я переделал в
clf =.load(os.path.join(model_path, 'svm.model'))
ругается
TypeError: file must have 'read' and 'readline' attributes
если я правильно понял код, ты можешь попытаться вместо load и save сделать нормальное сохранение массива через json или какой-нибудь struct. То есть заимпортировать на втором питон, руками сохранить в свой формат и на третьем загрузить тоже рукамиSoso23.01.2019
08:31:23
08:31:23
И?
Tishka1723.01.2019
08:32:01
08:32:01
там же просто матрица нампаевская небось сохраняется
GoogleTishka1723.01.2019
08:33:34
08:33:34
clf = joblib.load(os.path.join(model_path, 'svm.model'))
ругается
ValueError: You may be trying to read with python 3 a joblib pickle generated with python 2. This feature is not supported by joblib.
я переделал в
clf =.load(os.path.join(model_path, 'svm.model'))
ругается
TypeError: file must have 'read' and 'readline' attributes
https://github.com/joblib/joblib/blob/master/joblib/numpy_pickle.py вот реализация
Eldar23.01.2019
08:52:15
08:52:15
товарищи, юзаю pycharm. Он бряку не ловит. Тредов несколько и видно, что бряка срабатывает, потому что все лочится, но при этом не могу ничего посмотреть
кто сталкивался с этим?
пичарм умеет pdb подхватывать?
AdminERROR: S client not available
noName23.01.2019
08:54:12
08:54:12
Eldar23.01.2019
08:54:26
08:54:26
breakpoint
Santiago23.01.2019
08:55:20
08:55:20
Santiago23.01.2019
08:56:25
08:56:25
А ваще треды на питоне своеобразное дерьмо, на мой взгляд лучше асинхронщина или мультипроцессинг наконец
Yury23.01.2019
08:56:43
08:56:43
товарищи, юзаю pycharm. Он бряку не ловит. Тредов несколько и видно, что бряка срабатывает, потому что все лочится, но при этом не могу ничего посмотреть
переходи на сторону асинк! У нас есть печеньки! (ну а вообще да, многопоток и асинхрон сложновато отлаживать)Santiago23.01.2019
08:56:45
08:56:45
Если хочется подрочить потоки, то стоит посмотреть на плюсы
Владимир23.01.2019
08:57:00
08:57:00
А ваще треды на питоне своеобразное дерьмо, на мой взгляд лучше асинхронщина или мультипроцессинг наконец
Процессы форкать? Это еще хуже.Eldar23.01.2019
08:58:03
08:58:03
GoogleEldar23.01.2019
08:59:08
08:59:08
у меня нет желания мучить треды и все такое. Я страдаю из-за faust и aiokafka
Yury23.01.2019
08:59:52
08:59:52
Ну лучше и вправду дебагерром
особенно если хорошие структуры
а то на aiohttp выскакивает косяк, что если долго изучать данные на бреикпоинте, поток закрывается и дальше ничего не выполняется)))
Eldar23.01.2019
09:00:58
09:00:58
тут есть вообще кто с фаустом работал?
Yury23.01.2019
09:01:54
09:01:54
with shutka:
Фауст умер давно
Maxim robox23.01.2019
09:03:08
09:03:08
товарищи, юзаю pycharm. Он бряку не ловит. Тредов несколько и видно, что бряка срабатывает, потому что все лочится, но при этом не могу ничего посмотреть
У меня с django была подобная проблема. Там django как-то хитро вызывает динамически определяемые методы, что pycharm пропускает расставленные в них брейпоинты.Eldar23.01.2019
09:03:41
09:03:41
У меня с django была подобная проблема. Там django как-то хитро вызывает динамически определяемые методы, что pycharm пропускает расставленные в них брейпоинты.
тут видно, что они срабатывают, так как вывод логов с других тредов лочитсяно в пичарм дальше не пропихивается
Yury23.01.2019
09:06:16
09:06:16
возможно (но это не точно) в про версии есть настройка для такой шляпы
Anton23.01.2019
09:12:31
09:12:31
Danil23.01.2019
09:13:49
09:13:49
Вы используете какие-то утилиты для нагрузочного тестирования веб-сервера?
?23.01.2019
09:14:47
09:14:47
Terminator23.01.2019
09:18:58
09:18:58
@nindanone будет жить. Поприветствуем!
Jentry23.01.2019
09:19:02
09:19:02
Вы используете какие-то утилиты для нагрузочного тестирования веб-сервера?
использовал yandex tank + jmeter, от яндекса сервис для анализа результата yandex overloadDanil23.01.2019
09:19:31
09:19:31
http://dron.by/post/nagruzochnoe-testirovanie-na-skoruyu-ruku.html
вот такое нагуглил
Tishka1723.01.2019
09:19:51
09:19:51
Danil23.01.2019
09:20:42
09:20:42
спасибо всем)
Jentry23.01.2019
09:21:14
09:21:14
http://dron.by/post/nagruzochnoe-testirovanie-na-skoruyu-ruku.html
вот такое нагуглил
ну siege это молодежный apache benchmark, это совсем простые вещи если, а если нужны сценарии - то jmeter хорошDanil23.01.2019
09:22:15
09:22:15
ну он как раз с консольки запускается. Просто я создал скриптик питоновский, который асинхронно шлёт запросы, но выходит так что он напрягается больше чем сам фласк)
?23.01.2019
09:23:23
09:23:23
http://dron.by/post/nagruzochnoe-testirovanie-na-skoruyu-ruku.html
вот такое нагуглил
https://habr.com/ru/company/tinkoff/blog/344818/
Открыть в Telegram