Ivan
Всем привет! #работа #вакансия Есть тут кто может на этом фреймворке (https://github.com/python-telegram-bot/python-telegram-bot) мне бота написать? Используется фласк для авторизации в spotify (это уже написано) + парсинг по api spotify используется. В качестве ТЗ есть прототип полностью в фигме. Скину в личку желающим.
Айрат
Всем привет. Может кто нибудь понятным, русским, сук@, языком объяснить для чего нужен kfold в машинном обучении? Одни пишут для разделения на тестовую и обучающую выборки, другие бл@ть, для повышения точности прогноза, третьи чтобы переобучения не было, четвертые пишут что она нужна для классификации бинарных признаков
Айрат
просто читаю документацию и понимю что мне понятно чуть меньше чем них@я
kilinov
Не документация, а сборник анекдотов какой-то..
kilinov
Почему boolean не содержит Neutral🧐🧐
kilinov
None
Хммм, а вы гений
Владимир
кароч там с путем проблема была, оказалось он по дефолту стоит в директории самого темплейта
Аа... понял) да с этими yaml и джсон вечно проблему отлавливать трудно(
Айрат
Ну вообще почти все правы. Хз конечно причем здесь классификация бинарных признаков
я так понимаю это нужно чтобы разбить на тестовую и тренировочную выборку, несколько раз, а потом выбирается при каком соотношении наилучшая точность. Так?
Denis
я так понимаю это нужно чтобы разбить на тестовую и тренировочную выборку, несколько раз, а потом выбирается при каком соотношении наилучшая точность. Так?
Это нужно, чтобы лучше оценить реальную точность, уменьшив погрешность, вызванную ее эмпирической оценкой на фиксированной выборке
Владимир
я так понимаю это нужно чтобы разбить на тестовую и тренировочную выборку, несколько раз, а потом выбирается при каком соотношении наилучшая точность. Так?
По моему все таки чтобы обучать на каждой разбивке. Тут если я правильно в свое время эту тему понял решается очевидный трабл - если разбивка идет только одним вариантом, трудно избежать оверфиттинга на тренировочном наборе. Приходится менять метапараметры, пробовать-пробовать. K-fold же решит проблему на тех метапараметрах, для которых был бы оверфиттинг Но мб я не прав)
Denis
ну в документации написано другое
В документации обычно пишут как, а не зачем
Айрат
спасибо что старались, все равно ничерта не понял
Denis
При использовании автоматических методов для подбора гиперпараметров (grid search, например) такая кросс-валидация это способ избежать переобучения на случайность
Denis
Также используют stratified k-fold, где разбиение не случайное, а равномерное по какому-то признаку
Андрей
Кого?
https://t.me/ru_python/1287599
Denis
Message doesn't exist
Андрей
Готово.
Спасибо!
Андрей
оно не первый день тут срачи из-за своего МММ бота разводит
Dmitriy
Привет! Кто сможет решить задачу: Есть ряд чисел 100, 200, 5000, 6000, 7000, 6500 По какой формуле можно выделить числа сильно отклоняющиеся от тенденции (100, 200)?
Владимир
Привет! Кто сможет решить задачу: Есть ряд чисел 100, 200, 5000, 6000, 7000, 6500 По какой формуле можно выделить числа сильно отклоняющиеся от тенденции (100, 200)?
Ну сначала надо понять о какой тенденции речь? По сути думаю для любого набора точек есть полином n-й степени, который по всем точкам пройдет
Владимир
А может надо по остальным тенденцию искать
Владимир
А то подходов к решению можно напридумывать много
Владимир
Можно деапом подбирать полиномы, оценивать по MSE и останавливаться когда MSE особо не меняется (как это оценивать тоже отдельный вопрос)
Dmitriy
Ну давай подумаем что это за случай?
Приходят цены от поставщиков на "кирпич" 1 поставщик: 100 руб 2 поставщик: 200 руб 3 поставщик: 5000 руб 4 поставщик: 6000 руб 5 поставщик: 7000 руб 6 поставщик: 6500 руб Явно что первый и второй поставщик с глюком; Как их выявить?
Dmitriy
Ааа так это не тенденция
😣сорри, я туповат в мат. терминах
Владимир
Это эти... среднее значение и отклонения (забыл термин, прости) Надо среднее и дисперсию считать, убирать выпадающие
Владимир
Ищи по всем точкам mean value и standard deviation - эти темы гугли
Владимир
Некоторые либы могут такое (вот не соврать бы по моему в пандасе для подобного полно всего есть)
Dmitriy
Это эти... среднее значение и отклонения (забыл термин, прости) Надо среднее и дисперсию считать, убирать выпадающие
Так, значит 1) вычисляю средне арифметическое srarf = (100+200+5000+6000+7000+6500)/6= 4133 2) Каждое значение сравниваю с ним 1 поставщик: 100 руб - (100*100/4113) = 2,4% 2 поставщик: 200 руб - (200*100/4113) = 4,86% 3 поставщик: 5000 руб - (5000*100/4113) = 121% 4 поставщик: 6000 руб - (6000*100/4113) = 145% 5 поставщик: 7000 руб - (7000*100/4113) = 170% 6 поставщик: 6500 руб - (6500*100/4113) = 158% 3) Значения ниже 50% и выше 250% фильтрую
Dmitriy
Не протупил нигде?
natrix5369_job
Задача: определенить область по координатам x,y Предполагаемое решение: с каждого города собрать диагонали и найти всевозможные координаты в этой диагонали. Далее при получении координат искать их во всех областях Вопрос: Имеем диагональ A(0,0) B(100,100). Как найти всевозможное координаты в этой диагонали? Дополнительные диагонали: A(3532 8720) B(4240 9171) A(697 9762) B(1517 10227) A(2474 9828) B(3071 10192) Решение будет реализовано на питоне. Извиняюсь за оффтоп. Может подскажет кто
👑OGURCHIK🖤
Есть же Гугл апи и тд🤔🤔🤔🤔
natrix5369_job
Есть же Гугл апи и тд🤔🤔🤔🤔
это для игрушки. Не реальная карта, лол
Владимир
Так, значит 1) вычисляю средне арифметическое srarf = (100+200+5000+6000+7000+6500)/6= 4133 2) Каждое значение сравниваю с ним 1 поставщик: 100 руб - (100*100/4113) = 2,4% 2 поставщик: 200 руб - (200*100/4113) = 4,86% 3 поставщик: 5000 руб - (5000*100/4113) = 121% 4 поставщик: 6000 руб - (6000*100/4113) = 145% 5 поставщик: 7000 руб - (7000*100/4113) = 170% 6 поставщик: 6500 руб - (6500*100/4113) = 158% 3) Значения ниже 50% и выше 250% фильтрую
Там немножко отличается: 1) среднее арифметическое - да 2) deviation_squared_list = [(value - mean)**2 for value in your_values] 3) standard_deviation = sqrt(sum(deviation_squared_list)/len(deviation_squared_list)) 4) берешь только те значения что не вылетели за рамки standard_deviation (считаешь abs(value-mean) < standard_deviation https://www.mathsisfun.com/data/standard-deviation-formulas.html
Владимир
Помнится если по серьезному делать, там все таки несколько сложнее, но имхо для этой задачи когда надо отсеять явную чушь, можно не морочиться (помнится коэффициенты Стьюдента еще используются, но плохо это помню)
Владимир
Среднеквадратичное же отклонение будет иногда совсем не в тему.
Владимир
Например если 4500 4900 4950 5050 4990 4770 то 4500 среднеквадратичным отсеется
Владимир
А для тебя мб 4500 отсеивать вообще не стоит
Dmitriy
Так что буду копать
Владимир
Ок ну вобщем тут уже дальше вникай по своей задаче, среднеквадратичное отклонение это конечно самый общий подход, но я бы его везде подряд не юзал)
Maxim
Так что буду копать
Посмотри еще медиану. Может лучше подойдёт, нежели среднее арифметическое.
Dmitriy
Maxim
Dmitry
Задача: определенить область по координатам x,y Предполагаемое решение: с каждого города собрать диагонали и найти всевозможные координаты в этой диагонали. Далее при получении координат искать их во всех областях Вопрос: Имеем диагональ A(0,0) B(100,100). Как найти всевозможное координаты в этой диагонали? Дополнительные диагонали: A(3532 8720) B(4240 9171) A(697 9762) B(1517 10227) A(2474 9828) B(3071 10192) Решение будет реализовано на питоне. Извиняюсь за оффтоп. Может подскажет кто
Тебе тут не координаты внутри диагонали нужны, а пройтись по всем областям и для каждой проверить вхождение точки в её пределы. Можно представить область как окружность с центром в C и радиусом r, тогда: C - центр круга, P - точка R = ((Px - Cx)**2 + (Py - Cy)**2) R < r**2 # точка P находится внутри круга C R <= r**2 # точка P находится внутри или на краях круга C R > r**2 # точка P находится вне круга C
Dmitry
это просто следование из c^2 = a^2 + b^2
Maxim
Можешь сохранить себе. 😂
natrix5369_job
беря только X за радиус (что в принципе на мой взгляд логично) - формула не работает (
Anonymous
рябятууууушки
Anonymous
я бомбезную идею придумал.....
natrix5369_job