Differences
This shows you the differences between two versions of the page.
| Both sides previous revisionPrevious revision | Next revisionBoth sides next revision | ||
| data_mining:gradient_boosting [2016/02/01 22:44] – phreazer | data_mining:gradient_boosting [2016/02/01 22:56] – phreazer | ||
|---|---|---|---|
| Line 6: | Line 6: | ||
| $f^*(X)$ sollte interpretierbar sein, d.h. eine Struktur besitzen, die den Anteil jedes Beitrags eines unabhängigen Variablen erklärt. | $f^*(X)$ sollte interpretierbar sein, d.h. eine Struktur besitzen, die den Anteil jedes Beitrags eines unabhängigen Variablen erklärt. | ||
| + | |||
| + | |||
| Beispiel hierfür ist die GLM-Struktur (Generalized Linear Model (Nelder & Wedderburn): | Beispiel hierfür ist die GLM-Struktur (Generalized Linear Model (Nelder & Wedderburn): | ||
| Line 18: | Line 20: | ||
| * Multikollinearität der Prädiktorvariablen (feature selection notwendig) | * Multikollinearität der Prädiktorvariablen (feature selection notwendig) | ||
| * Gewöhnliche Featureselektion (univariate, | * Gewöhnliche Featureselektion (univariate, | ||
| + | |||
| + | Gradient boosting wird eingesetzt, um allgemeine Arten von Risikofunktionen bzgl. einer Vorhersagefunktion $f$ zu minimieren. | ||
| + | |||
| + | Beispiele hierzu: Quadrierter Fehler in gauß' | ||
| + | |||
| + | Boosting führt zu einer additiven Vorhersagefunktion, | ||
| + | |||
| + | Wenn Boosting bis zur Konvergenz durchgeführt wird, kann es als Alternative zu konventionellen Fittingmethoden (wie Fisher scoring, backfitting) für GAM Modelle gesehen werden. | ||
| + | |||
| + | Warum boosting? | ||
| + | |||
| + | * Verschiedene Risikofunktionen (absoluter loss, quantile regression) | ||
| + | * Feature selection während der Fitting Prozess | ||
| + | * Anwendbar, wenn $p >> n$ | ||
| + | * Adressiert Multikollinearitätsprobleme | ||
| + | * Optimiert Accuracy (bzgl. Risikofunktion). | ||