ssv
Сделай df.columns и глянь, есть ли она там
Arthur
Начинаю догадываться, возможно потому что столбцы разделены через запятую с пробелом
ssv
Может у тебя мультииндекс?
Arthur
Столбцы??? Ты как там считываешь данные?
Поправил: fixed_df = pd.read_csv('adult.data.txt', sep=', ', encoding='latin1')
Arthur
fixed_df.hist('Workclass') ValueError: hist method requires numerical columns, nothing to plot.
Arthur
Всё-таки числовые
ssv
Это простенькая гистограмма встроенная в пандас, она может не умеет
ssv
Всё-таки числовые
Plotly железно умеет
ssv
Можешь через value_count это сделать
Arthur
plt.plot(fixed_df['Workclass']) Да, сработало, кажись это в самом начале была ошибка с сепаратором) Только отсюда фиг что поймёшь...
ꑭÞeßŕwæłd
Потому как на каждом прогоне будет не класс, а вероятность, поэтому надо смотреть как ты реализуешь свою функцию потерь
Мне надо получить confusion_matrix в функции потерь, т.е. все эти trueNegative, truePositive и т.к Всего 4 переменных. С остальным я справлюсь сам. Нужно только это. То есть задача в том что бы def custom_loss(pred, real): tp, tn, fp, fn = sklearn.metrics.confusion_matrix(real, pred) Как сделать это?
Arthur
Сорян, решил попробовать пройти на тренинг, и мне за один день нужно выполнить тестовое, вот думаю, насколько это реально
ssv
Да
Вычисляй на каждой эпохе класс и передавай его в виде pred
ꑭÞeßŕwæłd
ssv
Что за класс? Как я могу это сделать?
Ты понимаешь как нейросеть работает? Она не вычисляет класс, она выдаёт вектор вероятностей принадлежности объекта к тому или иному классу, т.е. не 0 и 1,а например 0.68 и 0.32
ssv
Поэтому тебе надо преобразовать вероятности в класс и передавать их как pred
ꑭÞeßŕwæłd
Ты понимаешь как нейросеть работает? Она не вычисляет класс, она выдаёт вектор вероятностей принадлежности объекта к тому или иному классу, т.е. не 0 и 1,а например 0.68 и 0.32
Да, ты прав. Перед этим нужно просто переопределить все вероятности в 0 или 1 с порогом в 0.5. Тогда перефразирую свой вопрос. Нужно из двух тензоров в которых вероятности получить два массива из классов. В этом вся проблема. Все что я находил в примерах это операции типо mean и т.д.
ꑭÞeßŕwæłd
Вся проблема в этих тензорах, никакие классические функции и операции с ними как то не хотят работать.
ꑭÞeßŕwæłd
Тензоры выдают этакое дерьмо вроде Tensor("dense_21/sigmoid:0", shape=(?, 1), dtype = float32)
ꑭÞeßŕwæłd
Как отсюда что либо вытащить я не понимаю
Aragaer
а что оттуда надо вытаскивать?
ssv
а что оттуда надо вытаскивать?
Предикты, он хочет сразу в каждой эпохе матрицу ошибок выводить
Oleksii
Всем привет. У меня есть тест около 83к символов. Там я регуляркой ищу email. Делает очень долго, уже вроде и делю на отрезки. Как можно ускорить? regex = "\w+([\.-]?\w+)*@\w+([\.-]?\w+)*(\.\w{2,3})+" # r = re.search(regex, soup.get_text()[8000:9000]) i = 0 while i < len(soup.get_text()): l = [m.start() for m in re.finditer(regex, soup.get_text()[i:i+100])] if l: print(l)
ꑭÞeßŕwæłd
До компа доберусь - гляну
Окей, большое спасибо. Если что то такой способ: with tf.Session() as sess: print(fuckingtensor.eval()) не работает и пишет мне что я должен передать какое то значение для тензора-заполнителя (щта?)
Aragaer
/me один раз пробовал пользоваться tensorflow напрямую, но не осилил. Взял Keras
Aragaer
керас поверх тензорфлоу как-то значительно более интуитивно
Aragaer
то есть под капотом там все равно будет тензорфлоу. Но наружу видны значительно более интуитивные абстракции
ꑭÞeßŕwæłd
/me один раз пробовал пользоваться tensorflow напрямую, но не осилил. Взял Keras
А тут как раз нужно в бекенд залезать что бы сделать свою кастомную функцию потерь. Датасет крайне дерьмовый и дисбалансный, мб с этой функцией если осилю то дело пойдёт
Aragaer
Всем привет. У меня есть тест около 83к символов. Там я регуляркой ищу email. Делает очень долго, уже вроде и делю на отрезки. Как можно ускорить? regex = "\w+([\.-]?\w+)*@\w+([\.-]?\w+)*(\.\w{2,3})+" # r = re.search(regex, soup.get_text()[8000:9000]) i = 0 while i < len(soup.get_text()): l = [m.start() for m in re.finditer(regex, soup.get_text()[i:i+100])] if l: print(l)
сначала чем-то быстрым делать грубый поиск - например вообще вхождения символа @. Потом, когда нашлось такое, рядом искать полноценное. Но лучше не заниматься такими вредными для общества делами
Aragaer
в керасе можно сделать кастомную функцию потерь
ꑭÞeßŕwæłd
А там те же сраные тензоры)
Aragaer
https://stackoverflow.com/questions/45961428/make-a-custom-loss-function-in-keras - первый результат в гугле, мож пригодится
ꑭÞeßŕwæłd
Aragaer
ну там есть пример того, как из тензора достаются циферки
Anonymous
Здравствуйте. Зачем нужен else в while? Я понимаю что код в блоке else выполняется, если не выполнено условие, я понимаю, что код в блоке else не выполняется, если выход из цикла выполнен командой break. В каком случае это удобно применять? Спасибо
Aragaer
ну для случаев for-else понятно, когда есть смысл
Aragaer
а while-else - наверно тоже попадается
ꑭÞeßŕwæłd
ну там есть пример того, как из тензора достаются циферки
Не совсем. Там оперируют на уровне всех результатов сразу, это не есть то что мне нужно. Там по факту ничего не достают они.
Aragaer
крч они там используют методы keras.backend, чтобы превращать тензоры во что-то удобоваримое
Anonymous
Полагаю для того чтобы можно было вывести сообщение, что цикл не выполнился
Тогда сообщение будет выводиться, даже если цикл отработал как надо. Вроде выход из цикла принято осуществлять по условию, а не командой break?
ꑭÞeßŕwæłd
крч они там используют методы keras.backend, чтобы превращать тензоры во что-то удобоваримое
Только что ещё раз проверил на всякий случай. Эта фигня по типу Что-то нормальное = K.flatten(y_pred) так же тензор
Anonymous
ну для случаев for-else понятно, когда есть смысл
Когда? У for тоже есть else??? Не знал
Aragaer
иногда у тебя в цикле может быть несколько разных условий выхода. То, которое прописано в самом условии проверяется сразу же при входе. Может быть другое, которое проверяется позднее
ꑭÞeßŕwæłd
Просто два тензора теперь)
Aragaer
например чтобы сделать do-while приходится писать while True: do_stuff if not condition: break
Aragaer
а у лосс функции и результат тоже должен быть тензором
Aragaer
то есть тебе надо описать преобразования, как из одного тензора сделать другой
Mikhail
#Москва #СПб #Аналитик #Вакансия #Python #Data #Продуктовая_аналитика #Офис Всем привет! В поиске аналитика middle+ в одну из крупнейших продуктовых компаний РФ. Вакансии в 2 направлениях - продуктовая или операционная аналитика. Ожидаем опыт работы с python (pandas, scipy), хорошие знания SQL. Желателен опыт с инструментами автоматической отчетности Tableau и Power Bi. Задачи: ставить вопросы и отвечать на них с помощью моделей и прогнозов, пользуясь фактами и цифрами. Готовить аналитические отчеты об операционной деятельности Разрабатывать алгоритмы и модели развития бизнеса. Условия: оклад до 250 gross, премии, бонусные программы, крутой офис и куча возможностей для роста и развития. Подробнее - @miguelkr
Aragaer
TensorFlow 2.x Eager Execution is enabled by default, so just call .numpy() on the Tensor object.
Anonymous
иногда у тебя в цикле может быть несколько разных условий выхода. То, которое прописано в самом условии проверяется сразу же при входе. Может быть другое, которое проверяется позднее
Это я понимаю, я к тому что вдруг из цикла while в python принято выходить из цикла командой break в знак того, что он отработал как надо.
Aragaer
ну например while have_moar_data(): data = get_moar_data() if data.is_good(): break else: print("no good data 8(")
ꑭÞeßŕwæłd
то есть тебе надо описать преобразования, как из одного тензора сделать другой
Чет я туплю очень сильно. Вот смотри в процессе обучения я же могу получить значение этой функции потерь, смотреть как это значение уменьшается и все такое. Я же не на невнятную хрень смотрю вроде Tensor(reshape, blablabla, koko)
Aragaer
нет, не можешь. Ты скармливаешь в функцию обучения именно тензор, а она пытается значение этого тензора минимизировать
ꑭÞeßŕwæłd
Для начала узнай что такое стохастический спуск. Голову даю что ты там батчами грузишь.
Не по теме, чел и я знаю что это. Почему каждый пытается выебнутся?) Я пришел что бы получить реальную помощь, а не почитать что то вроде "ты сначала страуструпа прочти".
ꑭÞeßŕwæłd
нет, не можешь. Ты скармливаешь в функцию обучения именно тензор, а она пытается значение этого тензора минимизировать
Ок, то есть все ещё гораздо глубже и как оно работает я толком не пойму пока опять же не смогу посмотреть как выглядят те тензоры в функции потерь в процессе обучения . Во всяком случае вопрос как перевести это в что-то осязаемое остаётся открытым
ꑭÞeßŕwæłd
Звиняюсь тогда, а какую функцию потерь ты бы хотел применить?
Кастомную. Сначала я получаю 4 значения из confusion_matrix. Дальше уже с ними химичу. На листке я получил вполне пригодную формулу для моих целей, которая будет из этих 4 значений давать мне одно которое и будет лучше всего объяснять качество выполненной в моем случае задачи
Anonymous
крик души умоляю помогите спасите 😥 https://gist.github.com/navifundendi/53c9a19c4abc1e1d21cc1ab1a65b1801
Anonymous
Скиньте пожалуйста хороший материал,библиотеку по питону
No
Спасибо
Или сюда @bigdata_ru))
No
Скиньте пожалуйста хороший материал,библиотеку по питону
МПНТБ им. Ломоносова - очень хорошая библиотека
Humburglar
У меня есть список n чисел. Мне нужно получить все различные произведения двух элементов этого списка и проверить кратность этого произведения на число m. Допустим для [5,10,41,123] это 5*10, 5*41, 5*123, 10*41, 10*123, 41*123. Понятно что это можно сделать через два for, но есть ли более эффективных способы ?