Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revisionNext revisionBoth sides next revision | ||
data_mining:gradient_boosting [2016/01/17 15:24] – phreazer | data_mining:gradient_boosting [2016/02/01 22:44] – phreazer | ||
---|---|---|---|
Line 7: | Line 7: | ||
$f^*(X)$ sollte interpretierbar sein, d.h. eine Struktur besitzen, die den Anteil jedes Beitrags eines unabhängigen Variablen erklärt. | $f^*(X)$ sollte interpretierbar sein, d.h. eine Struktur besitzen, die den Anteil jedes Beitrags eines unabhängigen Variablen erklärt. | ||
- | Beispiel hierfür ist die GLM-Struktur (Generalized Linear Model): | + | Beispiel hierfür ist die GLM-Struktur (Generalized Linear Model (Nelder & Wedderburn): |
$$f^*(X) = \beta_0 + \beta_1 X_1 + ... + \beta_n X_n$$ | $$f^*(X) = \beta_0 + \beta_1 X_1 + ... + \beta_n X_n$$ | ||
+ | (Unterschied zu LM: Fehlerterm muss nicht normalverteilt sein, sondern kann Verteilung der exponentiellen Familie besitzen) | ||
+ | |||
Beispiel für eine GAM-Struktur (Generalized Additive Model): | Beispiel für eine GAM-Struktur (Generalized Additive Model): | ||
$$f^*(X) = \beta_0 + f_1(X_1) + ... + f_n(X_n)$$ | $$f^*(X) = \beta_0 + f_1(X_1) + ... + f_n(X_n)$$ | ||
+ | Typische Vorgehensweise ist die ML-Schätzung um ein Regressionsmodell zu fitten. | ||
+ | Probleme ML-Schätzung: | ||
+ | * Multikollinearität der Prädiktorvariablen (feature selection notwendig) | ||
+ | * Gewöhnliche Featureselektion (univariate, | ||