Коллеги, от наших партнёров OTUS пришли очень хорошие новости. Суть такова: они запускают собственный курс "Разработчик Big Data", который стартует уже со 2 ноября! А 26 и 31 октября в 20:00 - День открытых дверей этого курса, где можно пройти вступительный тест и получить бесплатное место (!!) на курс. Преподаватель курса Ксения Стройкова - программист отдела анализа данных в департаменте рекламных технологий Mаil, участвует в разработке хранилища данных для использования в рекламных сервисах, разработке системы для сегментирования аудиторий. Преподает курс “Алгоритмы интеллектуальной обработки больших объемов данных” в Техносфере Mail. В общем, если вы тянетесь к прекрасному миру больших данных, приходите на день открытых дверей 26 или 31 октября, и получите ответы на любые вопросы, про обучение и перспективы трудоустройства для выпускников. Подробности по ссылке: https://otus.pw/IIsXQ3OU/ или пишите мне, я, конечно на вообще все вопросы ответить не смогу, но сориентировать и задать вектор поиска ответа - точно.

Собственно, первый день открытых дверей уже завтра! И да, это Москва.

Ребята, важное дополнение !!! День открытых дверей онлайн. И обучение тоже онлайн!!! Для записи и прохождения курса необходимо зарегистрироваться и пройти вступительное тестирование, так как курс не расчитан для самых самых начинающих. Т.е. должен быть как минимум небольшой багаж релевантных знаний, но это можно уточнить уже непосредственно у них. И да, при успешном прохождении теста есть возможность попасть на курс совершенно бесплатно. Завтра и 31 октября. https://otus.pw/IIsXQ3OU/

Будут вопросы, пишите ?

Есть видео с ней ?

Есть видео с ней ?

Не у меня, но вероятнее всего где-то есть ?

Есть видео с ней ?

"есть видео, где она владеет Python"?

*шутка про питон владеет ею*

Будут вопросы, пишите ?

А только один человек попадёт бесплатно или может быть много бесплатных мест?

А только один человек попадёт бесплатно или может быть много бесплатных мест?

Насколько я знаю их много/несколько

Пришло уточнение. @NikolayBrynskih Будет разыграно 4 бесплатных места на курс.

Пришло уточнение. @NikolayBrynskih Будет разыграно 4 бесплатных места на курс.

Спасибо :-)

розыгрыши от человека из мейлру

Интересно, кстати как мейлру относится к использованию бренда mail.ru в такой рекламе

А мейлру это бренд?

Кстати интересный вопрос

Is there any similar group with English translation?

Is there any similar group with English translation?

Probably, but no one knows

Что-то курс какой-то

Странный

Probably, but no one knows

Ok, ifever any new group is created in English, please notify. Thanks.

Ok, ifever any new group is created in English, please notify. Thanks.

London is a capital of Great Britain

London is a capital of Great Britain

способности твоей нейросети понятны, и не оч интересны по качеству результата

Ok, ifever any new group is created in English, please notify. Thanks.

How about https://deep-learning-slack.udacity.com/ ?

London is a capital of Great Britain

Радушие рунета во всей красе.

London is a capital of Great Britain

the*

@bigdata_en

@bigdata_en

?

Devanya @Eugene_Drake @bigdata_en for english

Frankly, I do not quite understand the purpose of creating such a group in English, but we can try. Why not?

How about https://deep-learning-slack.udacity.com/ ?

This is helpful, thanks for sharing

@bigdata_en

Helpful. Thanks for sharing

Коллеги, хочу посоветоваться с вами по поводу стакинга моделей. Итак я выяснил, что RidgeRegression на моих данных в силу мультиколлинеарности стабильно и "достоверно" опережает любые деревья, да и вообще другие методы. Кроме одного. Интересно, что Elastic Net, с почти нулевым коэф. при метрике L1 (т.е. это тот же Ridge должен получиться! но совсем =0 нельзя изз градиентных проблем) даёт ещё лучше чем Ridge. Обратил внимание, что Elastic Net в этом "практически ridge" режиме даёт все коэффициенты >0. И даже опцию positive=True, включать не нужно. К сожалению у Ridge её нет (такой опции). В общем ElasticNet чуток обыгрывает Ridge при настройках, теоретически эквивалентных (но в обоих normalize=True, если False то ElsticNet не обыгрывает Ridge). ...................... Отошёл от темы немного. Вообщем я нашёл некие модели, которые работают на данных. Далее я хотел бы их стакнуть (например ElasticNet и RF). Чем их объединять? XGBoost? Изначальные фичи добавлять на вход второго уровня? Как их отбирать? Ведь потому и приходится использовать Ridge\EldaticNet, что высока коллинераность - стоит ли добавлять такие токсичные. Thx

Ну про красавицу ты перегнул

Ну про красавицу ты перегнул

Некрасивых женщин не бывает :-)

Frankly, I do not quite understand the purpose of creating such a group in English, but we can try. Why not?

As I am unable to understand this language, hence I have requested to create in English. Thanks

As I am unable to understand this language, hence I have requested to create in English. Thanks

It's no such big problem to create english group, so you can write both here and in @bigdata_en. Here is russian community mostly, there are international

Ok. Thanks for clarifying.

Коллеги, хочу посоветоваться с вами по поводу стакинга моделей. Итак я выяснил, что RidgeRegression на моих данных в силу мультиколлинеарности стабильно и "достоверно" опережает любые деревья, да и вообще другие методы. Кроме одного. Интересно, что Elastic Net, с почти нулевым коэф. при метрике L1 (т.е. это тот же Ridge должен получиться! но совсем =0 нельзя изз градиентных проблем) даёт ещё лучше чем Ridge. Обратил внимание, что Elastic Net в этом "практически ridge" режиме даёт все коэффициенты >0. И даже опцию positive=True, включать не нужно. К сожалению у Ridge её нет (такой опции). В общем ElasticNet чуток обыгрывает Ridge при настройках, теоретически эквивалентных (но в обоих normalize=True, если False то ElsticNet не обыгрывает Ridge). ...................... Отошёл от темы немного. Вообщем я нашёл некие модели, которые работают на данных. Далее я хотел бы их стакнуть (например ElasticNet и RF). Чем их объединять? XGBoost? Изначальные фичи добавлять на вход второго уровня? Как их отбирать? Ведь потому и приходится использовать Ridge\EldaticNet, что высока коллинераность - стоит ли добавлять такие токсичные. Thx

Изначальные не стоит добавлять

ok

Any online data analysis job available?

Коллеги, вот ещё тема. Есть понятная борьба с outliers. От робастных методик типа квантильных регрессий до выкидывания row в выборке по большому отклонению от некого baseline method и использованию очищенного data train для обучения какой то хорошей но чувствительной к outliers модели. НО. Всё это касается TARGETS, а если оаутлаеры встречаются в самих фичах?

вариантов куча, нужно пробовать все и смотреть что работает, а что нет

Коллеги, вот ещё тема. Есть понятная борьба с outliers. От робастных методик типа квантильных регрессий до выкидывания row в выборке по большому отклонению от некого baseline method и использованию очищенного data train для обучения какой то хорошей но чувствительной к outliers модели. НО. Всё это касается TARGETS, а если оаутлаеры встречаются в самих фичах?

Можно пробовать всё то же самое, только брать фичу в качестве target.

Можно пробовать всё то же самое, только брать фичу в качестве target.

я думал примерно в этом же направлении - фиттится некая дефлтная модель (ну baseline какой то). А по ней "реверсивно" ищутся оаутлаеры в фичах.

Господа, пожалуйста, найдите константу C, а то я не умею, а дальше я сам.

приравняй интеграл к 1

Это как?

Я пока не умею брать интегралы

Я пока не умею брать интегралы

тогда ты видимо не можешь решить эту задачу

либо вольфрам

Господа, пожалуйста, найдите константу C, а то я не умею, а дальше я сам.

1/32

Я пока не умею брать интегралы

Этот интеграл ты должен во сне при температуре +40°С лежа на операционном столе при операции на мозге отвечать

1/32

А среднеквадратическое отклонение? Мю=-2 у нас

Этот интеграл ты должен во сне при температуре +40°С лежа на операционном столе при операции на мозге отвечать

Чем он отличается?

А среднеквадратическое отклонение? Мю=-2 у нас

1/√(2πσ) exp(-½ (x-μ)²/σ²) σ² = 16

Чем он отличается?

Плотность нормального распределения

Благодарю

Вы не против, если я ворвусь с немножко оффтопом? Я вот думаю: а разве по кол-ву знаний на единицу времени обучение, например, в ШАД от Яндекса может превзойти самообразование? Разве там есть источники каких-то уникальных знаний? Насколько я понимаю, как и во всех школах, там объясняют группе людей одинаковую инфу, несмотря на то что все они на разных уровнях и соображают с разной скоростью. И объяняют там не какую-то конкретную сферу на серьезном уровне, а максимально широко но не слишком глубоко(что является минусом лично для меня, посколько прогресс делают люди, которые хорошо разбираются в одной узкой сфере; но плюсом для тех, кто не определился чем хочет заниматься конкретно). Ради чего стоит идти в такие места? Насколько я понимаю, в них ходят люди которые живут по принципу "вот записался на курсы по английскому, теперь наконец начну его учить", несмотря на то что у них под рукой весь интернет.

мтк,: 1) получать знания ОТ ДРУГИХ легче, чем те же самые самому из кних/инета 2) есть технологии обучения (если мы говорим о норм курсах, а не шараш-конторах), к сожелению многие пишут книги/посты/сайты не имея ни малейшего опыта педпгогики (не говорю о выпускниках педагогических) за счет этого усложняется понимание 3) при проведении обучения преподаватель может оценивать как "входит" конкретная тема и преподносить следующей группе иным способом 4) преподаватель может внести корректировки, если теема/вопрос/... растолкованы/поняты не правильно или упущен какой-то важный/ключевой момент и сразу это исправить, при самообразовании (без стороней оценки) этого не будет 5) корочка - таки работодателям нужны люди с корочками (не потому что "хотят", а потому что так требует, а) законодательчтво б) заказчик в) конда в которой у каждого есть корочка - более привлекательна для клиента).

отдельно нужно сказать о курсах, которые нужны для получения очивки (большинство автошкол, например), где не дают знаний, а готовят получить сертификат, сдать экзамен, пройти собеседование...

...ну и всегда есть люди которые приходят не за знаниями, а за бумажками, которыми можно обвешать стену и обьявить себя полубогом или требовать ЗП космонавтов ))

офтоп off

Думаю, никогда групповое обучение не сможет превзойти по эффективности одиночное, тем более сейчас, когда можно связаться с любым человеком и найти любую инфу. Будет эффективно только если вы этого делать не умеете

Такие курсы позволяют покупать возможность задать вопрос профессионалу и получить от него ответ. Можно это воспринимать как платную консультацию

А хотя многие как раз и не умеют. По крайней мере из моего окружения

Такие курсы позволяют покупать возможность задать вопрос профессионалу и получить от него ответ. Можно это воспринимать как платную консультацию

Слишком высока цена) Проще будет заплатить напрямую за платную консультацию

индивидуальные курсы - намного эффективнее групповых (но цена не совсем... точне, совсем не пропорциональна), но дже групповые в большинстве случаев эффективнее самообучения.

Коллеги, вот ещё тема. Есть понятная борьба с outliers. От робастных методик типа квантильных регрессий до выкидывания row в выборке по большому отклонению от некого baseline method и использованию очищенного data train для обучения какой то хорошей но чувствительной к outliers модели. НО. Всё это касается TARGETS, а если оаутлаеры встречаются в самих фичах?

Это так называемые влиятельные наблюдения. Среди диагностики линейных моделей их тоже анализируют

Расстояния Кука можно посчитать

thx, смотрю statsmodels

Is there any similar group with English translation?

yeah there is actually group where everyone post same things in English

?‍♂