I got one query on top of this , please help

Please try solve your problems by yourself, we can't help you with non-thematically stuff. This chat is called AI/Big Data/ML, so we have nothing to do with your SQL-problems.

Sorry for that ,I needed info on HQL which is again part of big data , since I was not able to get in HQL ,I was trying sql then I can relate

Добрый день, Есть-ли у кого опыт работы с различными линейными оптимизаторами? Мне интересны сравнения производительности, матрица примерно (64784 rows, 516288 columns), оптимизируется 9 часов, что никак не подходит. Пробовал на питоне glpk.ilp, cvxopt.solvers.lp. Почему-то ilp работает только на одном ядре.

Все привет! У кого-нибудь есть опыт с cplex/gurobi/express? Много ли знаний требуется чтобы с их помощью решать целочисленные задачи? или хватит общего понимания что такое оптимизация?

Привет, можете посоветовать что-то из практических курсов и\или статей по МЛ в питоне? базовые принципы я почерпнул, теперь хочу закреплять на практике

Привет, можете посоветовать что-то из практических курсов и\или статей по МЛ в питоне? базовые принципы я почерпнул, теперь хочу закреплять на практике

На Курсере от ВШЭ отличный курс

Привет)? Посоветуйте литерптуры, курсы, статьи , где можно почитать о анализе изображений

Привет)? Посоветуйте литерптуры, курсы, статьи , где можно почитать о анализе изображений

Документация и туториалы по OpenCV

Привет)? Посоветуйте литерптуры, курсы, статьи , где можно почитать о анализе изображений

Привет, недавно наткнулся, но сам еще не читал: https://vk.com/wall-94208167_2053

Привет, недавно наткнулся, но сам еще не читал: https://vk.com/wall-94208167_2053

Оу, спасибо . обширная подборка

Привет. Есть задача поступающие логи группировать по типам сообщений и заодно показывать анормальные события. Для интереса хочется решить эту задачу на нейронных сетях. Подскажите какие ключевые слова погуглить для этих двух тасков

А что подразумевается под аномалиями? Аномальные показатели? Ошибки?

Ошибки, логов много и хочется выделять несвойственные записи которые возникают

Ну это очень плохой пример для нейронных сетей) можно решать как задача классификации, сверточными сетями. Но если без учителя учить то на каждый не типичный лог ( даже не ошибки ) будет тригерить. Но даже в этом случае данные нужно предварительно либо подготовить, либо какую-то нормализацию придумать для текста. Короче имхо микроскопом по гвоздям =)

С учителем не получится ТК типов логов куча и постоянно новые логи создаются ТК приложения развиваются.

Буду тогда вообще и через метрики делать по старинке :)

@rpilyushin у нас не хантят :)

Но я могу подсказать где можно попробовать поискать себе людей и покидать вакансии

Но я могу подсказать где можно попробовать поискать себе людей и покидать вакансии

Окей, спасибо

Окей, спасибо

github.com/goq/telegram-list - там есть разделы с каналами и группами, где не просто можно, а даже нужно отправлять вакансии. Только есть определённые правила, обычно требуется указывать не только требования, но и вилку предлагаемых salary :)

Удачи в поисках

Окей, спасибо

Доброго времени. Подскажите, плиз, что почитать/посмотреть по вопросу прогнозирование отказа оборудования на производстве?

Ошибки, логов много и хочется выделять несвойственные записи которые возникают

Может какие-нибудь картинки нарисовать? Я бы для начала просто на оси времени их отметил

Ещё бы попробовал кластеризовать. Наверняка, одинаковые ошибки имеют общий префикс

Или можно выделить несколько классов типичных ошибок, забить их ручками, и смотреть на аутсайдеров

Я предполагаю, что сами ошибки легко выделить каким-нибудь грепом a la ^E

Можно ли в чате публиковать вакансии data scientist'ов ?

Можно ли в чате публиковать вакансии data scientist'ов ?

Если пролистать чуть выше, то увидите, что нет. И будет дана ссылка на каналы, где можно и нужно

Что есть из ресурсов с разжевыванием материала и практикой? На курс эра нашёл несколько курсов, но пока хочу что-то бесплатно попробовать

Может какие-нибудь картинки нарисовать? Я бы для начала просто на оси времени их отметил

Это уже делается в кибане и так. Но там нет группировки по ошибкам

Значит, ручками надо

Или можно выделить несколько классов типичных ошибок, забить их ручками, и смотреть на аутсайдеров

Ошибок много, у каждого микросервиса свои и много сервисов. Плюс код меняется постоянно и что то удаляется а что то добавляется

Я почему-то уверен, что первые 10 самых частых типов ошибок покрывают 90%

Значит, ручками надо

ты чо, а как же мошинлернинг

ты чо, а как же мошинлернинг

Во во :)

А где там была история про победителя яндекса, который все в экселе порешал?

Я почему-то уверен, что первые 10 самых частых типов ошибок покрывают 90%

Это так но это стандартные ожидаемые ошибки. А хочется ловить как раз ошибки которые пролетают мимо в большом количестве стандартных

Так, ты ведь просто сами ошибки умеешь ловить?

В каком-нибудь glog они идут с префиксом E<date>

Если да, и ты умеешь ловить типичные, ты можешь ловить и разность этих множеств

ERROR: S client not available

Да ошибки все в еластик серч лежат

Если да, и ты умеешь ловить типичные, ты можешь ловить и разность этих множеств

Оно понятно что можно по логеру и error message в лоб строить статистику и подсвечивать необычные плюс если есть резкий рост. Но мне хотелось потрогать МЛ в боевых условиях и подумал что попробовать на этом задании :)

А, так понятнее, а то я из общих соображений

Попробуй кластеризацию, надо только метрику хорошую придумать

Может побить на биграммы, а потом смотреть сколько есть общих в мультисете? Не метрика, но на этом, наверное,

Можно построить что-нибудь интересное

А кластеризации можно сделать разбиение по классам когда их кол-во неизвестно?

DBSCAN

Ок, поизучаю. Спасибо

А кластеризации можно сделать разбиение по классам когда их кол-во неизвестно?

Можно сделать перебор по количеству классов с подсчетом метрик качества кластеризации

Кол-во классов постоянно меняется

У нас около сотни микросервисов и они постоянно меняются

И добавляются новые

Привет, может кто-то знает канал куда можно опубликовать предложение о работе над проектом( разработке системы рекомендаций) в области ML? В списке каналов не нашел ( а может просмотрел) ничего подходящего

Привет, может кто-то знает канал куда можно опубликовать предложение о работе над проектом( разработке системы рекомендаций) в области ML? В списке каналов не нашел ( а может просмотрел) ничего подходящего

Я же писал уже тебе в лс, есть github.com/goq/telegram-list Или вот, например, группа, где можно вакансии размещать: https://t.me/myjobit

Коллеги, помогите с одной штукой в pandas Есть dataframe, в качестве индекса date-time series типа "2007-07-03 09:30:00". Так же есть список дней (вида "2008-01-01"), которые нужно выкинуть из имеющегося dataframe. Я писал похожую штуку в R и там это делается буквально одной строчкой data_frame = data_frame[!date(index(data_frame)) %in% date_list, ]

Коллеги, помогите с одной штукой в pandas Есть dataframe, в качестве индекса date-time series типа "2007-07-03 09:30:00". Так же есть список дней (вида "2008-01-01"), которые нужно выкинуть из имеющегося dataframe. Я писал похожую штуку в R и там это делается буквально одной строчкой data_frame = data_frame[!date(index(data_frame)) %in% date_list, ]

В чем вопрос

В чем вопрос

как удалить лишние дни из dataframe

Можете посоветовать курсы по мл для начинающих? Пока нашёл от яндекса, но хочу для начала бесплатное что-то попробовать