т.е. за один запуск через канал данных нужно передать 1М чанков, а в боевой ситуации так вообще около 1G чанков.

python3-dev пакет стоит? откуда ставил python3? какая версия?

Сам python ставил через yum install python. python3-dev - видимо нет... Буду гуглить

дев-хидеры надо поставить

*ушёл гуглить, благодарствую

Поэтому делать нейросеть которая за один заход генерирует сразу 1М чанков я вижу плохой идей, да и ее обучение займет, скорее всего, значительно больше времени А так если следовать логике работы программы то для нейросети достаточно 5 входов, штук 20 выходов и 1-2 небольших слоя

Я первый раз занимаюсь этим грязным делом...

Сам python ставил через yum install python. python3-dev - видимо нет... Буду гуглить

небось python3.4 поставил

небось python3.4 поставил

не, точно 3.6

не мог

его нет в стандартных репах

только в epel

или ius

сейчас проверил - 3.6.6

Извиняюсь, ваша правда, не через yum поставил, через epel

сейчас проверил - 3.6.6

epel-release наверное

epel-release наверное

Да, именно

Это могло проблемы вызвать? Из-за которых uwsgi не ставится

тебе нужно -devel пакет поставить еще

с заголовочными файлами питона

с заголовочными файлами питона

Пошёл гуглить, спасибо большое!

Поэтому делать нейросеть которая за один заход генерирует сразу 1М чанков я вижу плохой идей, да и ее обучение займет, скорее всего, значительно больше времени А так если следовать логике работы программы то для нейросети достаточно 5 входов, штук 20 выходов и 1-2 небольших слоя

Может написать свой layer и сделать model.add(my_layer(*args, **kwargs)) ?

Пошёл гуглить, спасибо большое!

скорей всего ты ставил пакет python36 соответственно тебе нужен python36-devel

@Tishka17 что меня раздражает в центоси, так это то что python36 в epel есть, а python36-pip - хрен там

и раздражает это мягко сказано

Наш второй канал , все успели?

list(filter(None, re.split("[, ;\n]+", a))) >>> a = ' adf,ad , ,adfddd ' возвращает ['adf', 'ad', 'adfddd'] re.split("[, ;\n]+", a) возвращает ['', 'adf', 'ad', 'adfddd', ''] как это работает?

Alex @Tishka17 @Saluev всё получилось, дело было дейсвительно в devel пакете, спасибо вам всем большое за помощь!

Может написать свой layer и сделать model.add(my_layer(*args, **kwargs)) ?

прикол в том что сжималка для сжатия в том числе использует разницу значений между соседними чанками, так как в "дикой природе" эти чанки часто не так "далеки" между собой поэтому для запуска проги нужно собрать мильён результатов работы первой нейросети

иначе теряется смысл

и раздражает это мягко сказано

Да, на этом моменте у меня тоже мозг немножко расплавился:(

Может написать свой layer и сделать model.add(my_layer(*args, **kwargs)) ?

т.е. получается нужно мильен раз запустить первую сеть, собрать данные, сжать-расжать, потом кормить покоцанными результатами вторую сеть. как это сделать в рамках стандартных моделей обучение сетей в Keras я пока что не понимаю

@Tishka17 что меня раздражает в центоси, так это то что python36 в epel есть, а python36-pip - хрен там

Так Пип встроенный теперь

Так Пип встроенный теперь

разве? [root@a094b878d2e3 /]# python3.6 --version Python 3.6.6 [root@a094b878d2e3 /]# python3.6 -m pip /usr/bin/python3.6: No module named pip

docker, centos:7, epel-release

venv встроенный, а pip - нет

разве? [root@a094b878d2e3 /]# python3.6 --version Python 3.6.6 [root@a094b878d2e3 /]# python3.6 -m pip /usr/bin/python3.6: No module named pip

Сделай venv, будет

Там какая-то магия

но забавно то, что встроенный venv устанавливает pip

да

Вне окружения недоступен

но забавно то, что встроенный venv устанавливает pip

может защита от засорения глобального пространства?

Вне окружения недоступен

скорее всего venv его просто устанавливает явно

День дорый, подскажите как утановить кодировку Есть у меня простаю функция пинга from platform import system as system_name from os import system as system_call def ping(host): parameters = '-n 3' if system_name().lower()=='windows' else '-c 3' return system_call("ping " + parameters + " " + host) == 0 И выводи кракозяюры под виндой, пробовал decode но нет Вроде можно было как-то поставить кодировку на весь оптпут или как-то так, не помню

скорее всего venv его просто устанавливает явно

Откуда? Венв же ничего не качает

да нифига это не защита. скорее раздолбайство. python34-pip же есть пакет

Так он уже там был. Жесть

Откуда? Венв же ничего не качает

а это еще более забавно. pip не встроен в python, они просто сделали бандл и включили pip wheel в дистрибутив python, который потом устанавливается в virtualenv

https://github.com/python/cpython/blob/3.7/Lib/ensurepip/__init__.py#L64

Так он уже там был. Жесть

В смысле был?

В смысле был?

Ну т.е. его отдельно получается не нужно было устанавиливать, если он в любом случае в виртуалке есть

Если я правильно понял что venv устанавилвает pip

Ну т.е. его отдельно получается не нужно было устанавиливать, если он в любом случае в виртуалке есть

да, но на уровне системы он недоступен. соответсвенно если я хочу собрать релизный докер образ и установить зависимости не в venv... "ой-вей у нас проблема"

Кстати, вопрос аудитории, как вы собираете релизные докер образы? Используете ли venv или ставите все в систему?

Я ставил питон из иус поэтому

да, но на уровне системы он недоступен. соответсвенно если я хочу собрать релизный докер образ и установить зависимости не в venv... "ой-вей у нас проблема"

Я надеюсь меня это не коснётся))

Кстати, вопрос аудитории, как вы собираете релизные докер образы? Используете ли venv или ставите все в систему?

В систему

Кстати, вопрос аудитории, как вы собираете релизные докер образы? Используете ли venv или ставите все в систему?

в смысле куда ставить внутри докера?

в смысле куда ставить внутри докера?

да

я тож в систему прямо ставил, потому что контейнер уже сам по себе окружение, так что особо смысла не вижу еще и венв ставить

Кто подскажет на счет кодировки?

Кто подскажет на счет кодировки?

тебе от запоя?

Кто подскажет на счет кодировки?

Сделай encode в исходной и decode в нужной

Сделай encode в исходной и decode в нужной

я сразу decode пробовал в utf-8 кидало ошибку

я сразу decode пробовал в utf-8 кидало ошибку

Ясен хер. Она же уже криво декодирована

т.е. получается нужно мильен раз запустить первую сеть, собрать данные, сжать-расжать, потом кормить покоцанными результатами вторую сеть. как это сделать в рамках стандартных моделей обучение сетей в Keras я пока что не понимаю

может просто сделать другой модел ? не можешь ж передать на Keras по кусочкам

на model.fit() можешь передать конечный результат

может просто сделать другой модел ? не можешь ж передать на Keras по кусочкам

всмысле? какие предложения? если пытаться оптимизировать форму нейросети под алгоритм, то как я сказал - такая сеть имело бы штук 5 входов, штук 20 выходов, и даже просто 1 скрытый слой не сильно больше выходного Это енкодер, декодер соответственно наоборот как по другому стывать я пока не придумал

если декодер обучать вроде бы просто - взял данные от сжималки, разбил, и представил как тренировочные данные а вот на чем тренировать енкодер я вообще не представляю

а энкодер тренировать на декодере

всмысле? какие предложения? если пытаться оптимизировать форму нейросети под алгоритм, то как я сказал - такая сеть имело бы штук 5 входов, штук 20 выходов, и даже просто 1 скрытый слой не сильно больше выходного Это енкодер, декодер соответственно наоборот как по другому стывать я пока не придумал

Сорян, я далек от этого

ставишь сначада энкодер, потом декодер. Декодеру trainable=False

энкодер должен выдавать такое, что уже натренированный декодер превратит в правильное

@Tishka17 вообще я тут немного зачитался сорцами питона, очень забавно ensurepip работает. он распаковывает wheel с пипом в tempdir, прописывает его в sys.path и потом при помощи pip устанавливает pip в виртуаленв

волшебная эквилибристика

ставишь сначада энкодер, потом декодер. Декодеру trainable=False

можно по попрядку? 1) вот я 1М раз запускаю енкодер на разных входных данных 2) склеиваю все полученные данные в один кусок 3) коцаю в сжималке, распаковываю 4) разбиваю большой кусок на маленькие 5) 1М раз запускаю декодер в попытке вот как это в рамках Keras обучать ?

так, я вот еще подумал. Да, codecs.getwriter+bytesio работает медленнее, чем encode

но будет codecs.getwriter+print работать медленее, чем encode+write?

можно по попрядку? 1) вот я 1М раз запускаю енкодер на разных входных данных 2) склеиваю все полученные данные в один кусок 3) коцаю в сжималке, распаковываю 4) разбиваю большой кусок на маленькие 5) 1М раз запускаю декодер в попытке вот как это в рамках Keras обучать ?

Сначала ты независимо обучаешь декодер

когда декодер обучен, ты делаешь модель энкодера

а потом ты делаешь обучающую модель - сначала энкодер, потом декодер

декодеру в этой модели ставишь trainable=False

и запускаешь обучение на "вход=выход"

Сначала ты независимо обучаешь декодер

отлично, на каких данных я енкодер обучаю? сжималка как бы есть, но никто не умеет через нее ничего передевать таким образом как мне нужно

удалил? зачем?

это же всего лишь гугл формы

наоборот - на чем декодер обучать

я так понял, что декодер у тебя уже обучен

декодер учится на сжималке

а энкодер в паре с декодером

есть еще вариант

@Tishka17 вообще я тут немного зачитался сорцами питона, очень забавно ensurepip работает. он распаковывает wheel с пипом в tempdir, прописывает его в sys.path и потом при помощи pip устанавливает pip в виртуаленв

0_o

нет, я только сказал что в такой задаче декодер проще обучать, с моей нубской точки зрения так что декодер тоже ничего не знает

ок

тогда делаешь как все делают

у тебя чисто по архитектуре энкодер сжимает, а декодер разжимает