В этом году запустили в России нечто подобное. Друг говорил, что они будут выдавать дипломы, аналогичные school42

Называется школа 21

Вроде это сбер организовал

Этот же друг там учился

42/2=21?

?

Я слышал про него

Я просто принимаю другое гражданство. С ним проще поехать в США.

Везёт?

из первых уст слышал о том как проходят вступительное испытание в школе 21 в сбере: вы приходите, вам дают задание, выход в интернет, ОС с частично установлным ПО, а потом делай что хочешь

А что узнать хочешь?

Я читал что учебную визу от них не сделать. Интересует возможность учится по B1/B2

https://pastebin.com/VPyUavp7 код сравнивает гугл диск и папку, и если находит файл которого нет на гугл диске - он его загружает а потом удаляет с компа всё работает, но проблема в том что это модуль программы и если нет интернета он намертво зависает трай не помогает как повесит на него таймаут?

он зависает когда во время загрузки пропадает интернет

смотри параметры либы

смотри параметры либы

кэп)

там нету таймаута(

значит не теряй интернет!

Ну или вешай асинхронный код xD

братцы, есть кто нибудь кто скрейпил веб сайты с помощью машинного обучения?

братцы, есть кто нибудь кто скрейпил веб сайты с помощью машинного обучения?

верстал?

надо распознавать что на чужой веб странице написано

типа на входе странциа - и в ней контент определенного рода - но как расформатировано и где что неясно - а на выходе все что надо найдено и в структуру данных запихано

сейчас делается через lxml

для каждого сайта свой xpath

а надо умный чтобы сам находил где что

есть кто нибудь кто умеет?

Ну я парсил

но без мл

ML не цель а средство. Цель - чтобы не подкручивать ничего под конкретный сайт

я могу вам в личку постучать?

гугл наверное такое делает

А, если не крутить под конкретный сайт то хз, не подскажу)

гугл наверное такое делает

Ну так они же мне не расскажут как они делает

А, если не крутить под конкретный сайт то хз, не подскажу)

Под конкретный сайт я умею - lxml, xpath, regex

Это был намек на объем работы, я думаю)

я нафигачил примерно ту же архитектуру как у телеграма

Это был намек на объем работы, я думаю)

Да нет, у меня есть конкурент который эту задачу решил - это один человек или два

Братья и сестры, неужели нету никого кто МЛ знает?

Братья и сестры, неужели нету никого кто МЛ знает?

Ты наверное ждёшь готового рецепта?

Братья и сестры, неужели нету никого кто МЛ знает?

А что ожидается как помощь?

Ты наверное ждёшь готового рецепта?

Нет. Было бы славно, но врядли найду. Надо посоветоваться по паре вопросов.

А что ожидается как помощь?

Задать пару вопросов

я ведь только начал учить МЛ и полный чайник в этом

Ну так не проще ли их задать сейчас?

Ну так не проще ли их задать сейчас?

Нет, потому что они узко специализированные

Задать пару вопросов

Задаю вопрос в помощь - нужно чем-то обученным распознавать какие-то тексты на странице?

Ладно попробую

задача - распознать ингридиенты рецепта

есть веб страница

на ней рецепт

но каждый дезайнер верстал как ему угодно

задача - распознать ингридиенты рецепта

Одним сообщением, пожалуйста

Одним сообщением, пожалуйста

Да конечно. уешл на 15 минут писать

но каждый дезайнер верстал как ему угодно

Вот в обучающую выборку нужно всё это запихнуть. Штук сто страниц с метками классов. Для каждого класса - свой алгоритм парсинга. Поправьте, плез

Вот в обучающую выборку нужно всё это запихнуть. Штук сто страниц с метками классов. Для каждого класса - свой алгоритм парсинга. Поправьте, плез

No

Нужен корпус слов, которые характеризуют рецепт. В каждом блоке по тексту ищешь как часто слова из корпуса встречаются в этом блоке. Если много - то это рецепт. Что такое много - надо определить в ручном режиме

Мл тут не нужен

задача - распознать ингридиенты рецепта

Алгоритмически не получилось? Ну например найти расположение рецепта в разметке, выдернуть блок

Мл тут не нужен

согласен

задача - распознать ингридиенты рецепта есть веб страница, на ней рецепт. но каждый дезайнер верстал как ему угоднo, и чтмл одной страницы отличается от другой. сегодня для сайтов написан ручной парсер - на основе лхмл,xpath, regex. это позволяет сравнивать МЛ алгоритм с ожидаемым результатом для нескольких десятков сайтов - т.е. сотен рецептов, если нужно. Вопрос - какой МЛ алгоритм применить. Я опытный программист но ничего в МЛ не понимаю. Начал слушать курс. Хотелось бы понять на какие алгоритмы обратить внимание. Какие фичи могли бы быть полезны?

Алгоритмически - это как? вот есть <ul><li>5 gr salt</li></ul>

как знать что это ингредиент?

задача - распознать ингридиенты рецепта есть веб страница, на ней рецепт. но каждый дезайнер верстал как ему угоднo, и чтмл одной страницы отличается от другой. сегодня для сайтов написан ручной парсер - на основе лхмл,xpath, regex. это позволяет сравнивать МЛ алгоритм с ожидаемым результатом для нескольких десятков сайтов - т.е. сотен рецептов, если нужно. Вопрос - какой МЛ алгоритм применить. Я опытный программист но ничего в МЛ не понимаю. Начал слушать курс. Хотелось бы понять на какие алгоритмы обратить внимание. Какие фичи могли бы быть полезны?

ищи блоки с некстом где встрекаются куски рецептурных слов

и потом загоняй в табличку

ищи блоки с некстом где встрекаются куски рецептурных слов

Проблема - эти слова есть и в ингредиентах и в инструкциях а некоторые - в списке нутриентов и даже в заголовке

у них разная длина размер и всё такое

Проблема - эти слова есть и в ингредиентах и в инструкциях а некоторые - в списке нутриентов и даже в заголовке

Проанализируй примеры существующих разметок, добавь общие правила

Мне представляется что я примерно могу сказать какие есть характеристики у всего. У инградиента чаще цифры. У инструкций больше глаголов. Но какие веса какой характеристике дать?

Прогнать по понятным данными и посмотреть метрики

задача - распознать ингридиенты рецепта есть веб страница, на ней рецепт. но каждый дезайнер верстал как ему угоднo, и чтмл одной страницы отличается от другой. сегодня для сайтов написан ручной парсер - на основе лхмл,xpath, regex. это позволяет сравнивать МЛ алгоритм с ожидаемым результатом для нескольких десятков сайтов - т.е. сотен рецептов, если нужно. Вопрос - какой МЛ алгоритм применить. Я опытный программист но ничего в МЛ не понимаю. Начал слушать курс. Хотелось бы понять на какие алгоритмы обратить внимание. Какие фичи могли бы быть полезны?

Концептуально, если все таки с ML: Кормить классификатор страницами с рецептами и не_рецептами с расставленными метками классов. Тут нужно разобраться, сколько выборки нудно для оптимальной работы.

Концептуально, если все таки с ML: Кормить классификатор страницами с рецептами и не_рецептами с расставленными метками классов. Тут нужно разобраться, сколько выборки нудно для оптимальной работы.

Не будет оно работать

Классификатор это кто?

Сапорт - Векторная машина (это мой кривой перевод с английского) или логистическая регрессия? Или дип лернинг?

В какую сторону идти

Там куча деталей - как данные подготавлват

Сапорт - Векторная машина (это мой кривой перевод с английского) или логистическая регрессия? Или дип лернинг?

машина опорных векторов, если что

Классификатор это кто?

http://www.pvsm.ru/python/284772 Очень-очень для начала

Классификатор это кто?

Короче. Классификатор - чёрный ящик, который даёт ответ на вопрос в определенной форме. "Предсказывает", похоже ли то, что ему дают на вход на один из классов, на которые он был обучен. Представим картинку с писосом. А теперь другую. Хороший классификатор на обе картинки скажет "это писос". И так можно и с другими данными.

ага

какой алгоритм для классификатора вы бы рекомендовали

как правильно сделать мультипроцессинг? https://pastebin.com/PPBJ7Z2g сейчас код выполняется и дойдя до 164 строки ждет максимум минуту и опять начинает работать нужно как то запустить параллельно эти процессы

какой алгоритм для классификатора вы бы рекомендовали

Ну, вот тот же Catboost позволяет себя использовать без заморочек. Документация есть на его сайте, она на ангельском (летом была, по крайней мере), но разобраться, думаю, можно. Разве что, в терминологии могут быть проблемы.

помогите

мне

как правильно сделать мультипроцессинг? https://pastebin.com/PPBJ7Z2g сейчас код выполняется и дойдя до 164 строки ждет максимум минуту и опять начинает работать нужно как то запустить параллельно эти процессы

А что-то в логах от tryupload есть?

какой алгоритм для классификатора вы бы рекомендовали

Лучше разные пробовать, конечно, да и бустингом себя не ограничивать, глубокое обучение (нейросети) могут лучший результат дать. Но это уже по ходу выяснится. В ML нет 100% результата.

А что-то в логах от tryupload есть?

не

хз чо там в украине

на украине

не

А если попробовать более простую функцию в таргет?

А что-то в логах от tryupload есть?

только печатается тру если ожидание меньше минуты

только печатается тру если ожидание меньше минуты

Вообще добавь больше принтов в трайаплоад

Кажется он где-то виснет

Кажется он где-то виснет

ну когда интернет падает он и виснет

ну когда интернет падает он и виснет

А в чем тогда вопрос?

на любой строчке которая ходит в нет