ну как бы даже по названию)

но если у тебя работает то что сейчас то наверное не стоит пока городить другое

если перестанет посмотри в сторону генетических алгоритмов и методов монте-карло

Хм, хорошо, спасибо, учту

спуск просто лучше подходит для пространств более гладких, что очевидно, когда есть возможность по областям искать "провалы" в минимум, а когда они вот такие "выстрелы" в единичных точках, надо юзать стохастику или генетику

еще очень помогает визуализация пространства поиска, просто чтобы оценить как оно у тебя выглядит, кстати

то есть нарисовать значения в виде плоскости хотя бы один раз

если конечно у тебя не многомерная оптимизация

ну, я использую логическую регрессию без полиномов так что там должен быть только один минимум

один минимум это отлично, но в данном случае проблема в том что спуску его очень тяжело найти, потому что ему некуда "спускаться"

а, хм, даже так

если ты делаешь все это в питоне в scipy есть реализации этих алгоритмов

можно за полчаса легко проверить как они себя поведут

нет, хочется именно руками все написать иначе какой смысл)

там правда больше проблема что надо теорию почитать (как всегда)

ну, руками писать генетику и стохастику я бы не стал :)

но если так задача стоит то можно конечно

задача стоит научиться в машинном обучении) а потом нейронки покрутить

интересно просто стало + лето делать особо нечего

ты в курсе же, что машинное обучение это другая область?

а, все, я не сразу увидел что у тебя регрессия, тогда понятно

четко)

я тебе еще советую посмотреть кластерный анализ (кластеризацию)

это тоже одна из самых популярных задач с данными

и базовый статистический анализ, если вдруг ты еще этим не занимался

Хорошо, спасибо еще раз)

коллеги, посоветуйте пожалуйста фреймворк для парсинга сайтов на python (основная задача - искать и выкусывать основной блок текста). Что сейчас в моде?

коллеги, посоветуйте пожалуйста фреймворк для парсинга сайтов на python (основная задача - искать и выкусывать основной блок текста). Что сейчас в моде?

beautifulsoup, например

я использовал scrapy, но может за 2 года что-то поменялось?

я использовал scrapy, но может за 2 года что-то поменялось?

вроде мыло рекомендуют

мыло?

beautifulsoup

хотя он суп, кажется, а не мыло

soap - вот это мыло)

хотя он суп, кажется, а не мыло

он именно суп, это отсылка к монологу Моржа из Алисы, если мне склероз не изменяет

beautifulsoup

Красивый суп

Красивый суп

О да

А мозги обезьяны не только красивые но и вкусные

некоторым и сыр с мушиными личинками вкусный

коллеги, посоветуйте пожалуйста фреймворк для парсинга сайтов на python (основная задача - искать и выкусывать основной блок текста). Что сейчас в моде?

urllib.request (если есть возможность - то лучше requests) - для запросов и получения страниц lxml - для вытягивания

Почему сегодня не пятница?

пятница может быть в любой день

У кого-то уже скоро год, как воскресенье 24/7..

Почему сегодня не пятница?

Потому что вчера был вторник, а завтра - четверг

urllib.request (если есть возможность - то лучше requests) - для запросов и получения страниц lxml - для вытягивания

а чо не beautifulsoup с бэкендом lxml?

супчик попроще будет

Мне удобнее на реквестах

Я даже суп не юзал

не, а чо после реквестов?

регулярками парсить?

lxml.cssselect(".class1 .class2 #id_v_dome3 .i_td")

через lxml можно и xpath заюзать насколько я помню, он полегковесней супа будет, но чуток посложнее местами

В firepath можно отлаживать xpath

Если что

Если объемы маленькие то хоть чем можно парсить

Grab еще с русскоязычным мануалом

Grab еще с русскоязычным мануалом

Боже упаси

Перехрестился

Перехрестился х2

Перехрестился х(число которое б-г любит)

Во имя инкапсуляции полиморфизма и наследования

Благословляю

коллеги, посоветуйте пожалуйста фреймворк для парсинга сайтов на python (основная задача - искать и выкусывать основной блок текста). Что сейчас в моде?

scrapy стал поддерживать третий питон за это время, лучше ничего не появилось

ERROR: S client not available

grab пробовал, не понравился категорически

граб ужасный, не понимаю почему его используют или советуют

граб ужасный, не понимаю почему его используют или советуют

+

Grub конченное неработающее диприкейтед говно из эпохи динозавров

На своем опыте

На Google Cloud Platform запускается бот, дя? Или где на Google льзя запустить?

почему нельзя убрать gil что-бы питон начал в параллельные вычисленич?

вычисления*

Мой коллега пробовал. Единственный плюс - близость к серверам гугла

На Google Cloud Platform запускается бот, дя? Или где на Google льзя запустить?

да, запускается

Grub конченное неработающее диприкейтед говно из эпохи динозавров

это же linux loader, lol

это же linux loader, lol

grAb*

только он grab :)

Бля запутал

:))))

почему нельзя убрать gil что-бы питон начал в параллельные вычисленич?

короткий ответ, патамушта без него ещё хуже будет

Бля запутал

да я понял, угарно прост

Gil тащит

А ес чо нада то можно и отключить

http://i.imgur.com/ZBtdeog.png

https://habrahabr.ru/post/167503/

грешно смеяться над разработчиками на пхп. Это портит карму

грешно смеяться над разработчиками на пхп. Это портит карму

Эм,а что еще с ними делать?

это продакшен код довольно крупной компании, переписываю на питон, сижу ужасаюсь

Ненуачо, проверка на дебаг, ты что, не отлаживался никогда? :D

Эм,а что еще с ними делать?

гладить по голове и поить молоком с печеньем. Что еще с бедолагами делать?

Есть вероятность абуза. Захотел молока с печеньем? Скажи что пишешь на пхп!

тест

За какие фреймворки браться? Для веб и игрищ.