а не только в gblinear

lambda=0.1-0.2 и спасает xgboost от тотальной нестабильности с данным датасетом, но и с регуляризацией xgboost хоть и не в полнейшем ауте, но сливает Ridge, стабильно. Типа R2 на out-of-sample 0.45(лучший xgboost с lambda>0) vs 0.55 (Ridge с lambda 0.1)

А как метрику считаешь?

RMSE

Хммм

Ну, может, xgboost сваливается в локальный минимум

Ошибки

А деревянная регрессия каким-то чудом находит более хороший минимум

Какой критерий качества у классификатора?

от 2 до 40

то есть максимальная длина 40? а количество фич какое. так то 40 как то дофига кажется для градиентного бустинга

да 40 очень много

но я ответил буквально: от 2 до 40, т.е. по сетке я перебирал ограничение максимальной длинны от 2 до 40

то есть максимальная длина 40? а количество фич какое. так то 40 как то дофига кажется для градиентного бустинга

Совершенно так. Для бустинга и 5 бывает много.

Но это не главное

40, это просто "ради смеха" (ну вдруг)

А главное то, что он либо градиент приблизить не может нормально

Либо градиент его ведет в локальный минимум

да, там всплывают адовые отклонения, т.е. решение крайне нестабильно

А итераций сколько?

Он завершается по количеству итераций?

перебирал от 10 до 1000

да по количеству

я не стал делать раннюю остановку

просто перебрал

везде - плохо

Тогда он не может сойтись, если решение не стабильно при этом

опять же с lambda 0.1..0.2, решение находится

это намекает на крайне высокую коллинераность данных (наверно?)

Какая предобработка данных используется?

но оно всё равно хуже чем ridge

стандартизация не проводится

А всякие кодирования категориальных признаков?

нет

все переменные непрерывные

Попробуй заскейлить их

Там MinMax, например

в этом смысле данные очень гомогенны

средняя =0

Ну тогда проведи стат тест

а дисперсии хоть и не застандартизованы - но очень близкие

Выкинь коллинеарные переменные

И запусти оба алгоритма еще раз

все переменные коллинеарны это их суть

это как в зале 30 человек орут друг на друга

все переменные коллинеарны это их суть

Это странное решение.

Предварительное выделение зависимых кластеров?

да, есть такой вариант, но это очень усложненное решение

представьте себе заседание парламента, все друг на друг орут, а нужно прогнозировать настроение председателя

"все " это фичи, председатель - этото что нужно спрогнозировать

никого невыкинуть и все коллинеарно

даже депутат"жопов" который устраивает потасовка раз в год важен для прогноза

Можно просто сделать dimensionality reduction на вход. Но тут я могу ошибаться. Чисто через умножение на матрицу, например.

pca

ica

это понятно

но неприятно что xgb не справляется

кстати RF дает тоже похуже резалт чем Ridge, чуток

но несравненно стабильнее xgboost и из коробки

еще интересно, что при booster: gblinear (вместро gbtree), одинаковом lambda, достаточно мелком eta и большом числе итераций, результаты xgboost с точностью до 4го знака r2 сопадают с RidgeRegression. Попросту говоря xgboost с бустером gblinear это эквивалент RidgeRegression пакета sklearn. И, похоже, даже работает быстрее. А вот про бустер gbtree - я писал всё вверху.

еще интересно, что при booster: gblinear (вместро gbtree), одинаковом lambda, достаточно мелком eta и большом числе итераций, результаты xgboost с точностью до 4го знака r2 сопадают с RidgeRegression. Попросту говоря xgboost с бустером gblinear это эквивалент RidgeRegression пакета sklearn. И, похоже, даже работает быстрее. А вот про бустер gbtree - я писал всё вверху.

Комбинация линейных моделей сама по себе линейная модель, именно так и должно получаться

О - отчаяние

Комбинация линейных моделей сама по себе линейная модель, именно так и должно получаться

Вот не надо. Во-первых, не любая комбинация линейных будет линейной

Во-вторых, бустинг -- не обычная комбинация

Вот не надо. Во-первых, не любая комбинация линейных будет линейной

Линейная — любая.

А gblinear как бы намекает слегка

Линейная — любая.

Только линейная

А gblinear как бы намекает слегка

Бустинг -- это всегда приближение градиента ошибки

Во-вторых, бустинг -- не обычная комбинация

Бустинг линейных моделей дает взвешенную сумму линейных моделей. Как сам ансамбль строится - не важно

Это в случае adaboost какого-нибудь

А в случае GBM там гораздо более мутная история

У тебя argmin(y-r*argmin ()))

Адабуст - частный случай же

Про аду можно сказать, что это взвешенная комбинация

Про GBM нельзя

Посмотри, как происходит прогноз для нового наблюдения: это сумма предсказаний базовых алгоритмов

Это бэггинг, а не бустинг

Бустинг -- последовательный.

RF -- бэггинг

На фазе предсказания отличий нет

Зато есть на фазе обучения)))))

Потому что бустинг -- это не просто линейная комбинация

В случае gblinear у тебя на каждом шаге идет спуск по ангиградиенту ошибки, которая считается на функциональном приближении значений целевой функции линейной регрессией

Сказать, что это линейная комбинация линейных классификаторов нельзя никак

еще интересно, что при booster: gblinear (вместро gbtree), одинаковом lambda, достаточно мелком eta и большом числе итераций, результаты xgboost с точностью до 4го знака r2 сопадают с RidgeRegression. Попросту говоря xgboost с бустером gblinear это эквивалент RidgeRegression пакета sklearn. И, похоже, даже работает быстрее. А вот про бустер gbtree - я писал всё вверху.

Это говорит о том, что градиент на линейных алгоритмах уезжает в тот же минимум, куда едет регрессия в твоем случае

Это говорит о том, что градиент на линейных алгоритмах уезжает в тот же минимум, куда едет регрессия в твоем случае

так понятно

в общем мой кейс из экономики, когда у обсчитываемого объекта снимаются "показания" выручки, инвестиций, доходов и тп и тд. А нужно предсказать какой то показатель типа прибыли. И т.к. эти показатели связаны очень сильно, то возникает мультиколлинеарность. Уже сотни тестов провёл, Ridge Regression с регуляризацией - the best. Я дотянул и xgboost и RF и kernel ridge в область приемлемых значений, но все системно сливают простой Ridge Regression. Оч. интересно. Т.е. есть области в которы xgboost, при довольно обширных усилиях по поиску оптимума, сливает системно намного более простому и линейному алгоритму.

вот на очень большой выборке "предприятий" по 100 проходов:

r2XGB= 0.65227830657 r2Ridge= 0.744216018931 r2KernelRidge= 0.731306807264 r2RF= 0.687464633886

Очень интересный кейс

А сколько у тебя признаков?

несколько десятков

Вообще деревья довольно устойчивы к коллинеарным признакам

Вообще деревья довольно устойчивы к коллинеарным признакам

мне кажется, чем глубже дерево, тем вероятнее, что будет неустойчиво, ибо нахватает лишних связей. поэтому случайный лес теоретически должен быть менее устойчив к мультиколлинеарности, чем градиентый бустинг с настройками по дефолту, ибо первый нахватает лишних связей. что должно несколько поправится голосованием конечно, но все же

В бустинге стандартное дерево глубиной 3