This is an old revision of the document!
Gradient Boosting
Grundlegendes simples Problem:
Gegeben Vektor von unabhängigen Veriablen $X = (X_1, ..., X_n)^T$ finde eine optimale Funktion $f^*(X)$, die abhängige Variable $Y$ vorhersagt.
$f^*(X)$ sollte interpretierbar sein, d.h. eine Struktur besitzen, die den Anteil jedes Beitrags eines unabhängigen Variablen erklärt.
Beispiel hierfür ist die GLM-Struktur (Generalized Linear Model): $$f^*(X) = \beta_0 + \beta_1 X_1 + ... + \beta_n X_n$$ Beispiel für eine GAM-Struktur (Generalized Additive Model): $$f^*(X) = \beta_0 + f_1(X_1) + ... + f_n(X_n)$$