This is an old revision of the document!
Support Vector Machine
Manchmal sauberer Ansatz um nicht-lineare Zusammenhänge zu lernen.
Betrachtung von Kostenfkt. bei y=1 und y=0. Stückweise Approximierung (2 Teile).
$\text{cost}_0(z), \text{cost}_1(z)$
$$\min_\theta \frac{1}{m} \sum_{i=1}^m y^{(i)} \text{cost}_1(z) + (1-y^{(i)}) \text{cost}_0(z) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2\\ z=\theta^Tx^{(i)}$$
Vereinfacht (ohne $\frac{1}{m}$), und mit Umformung $A + \lambda B$ ⇒ $C A + B$ mit $C = 1 / \lambda$: $$\min_\theta C \sum_{i=1}^m y^{(i)} \text{cost}_1(z) + (1-y^{(i)}) \text{cost}_0(z) + \frac{\lambda}{2} \sum_{j=1}^n \theta_j^2$$
Lineare Separierbarkeit
Large margin classifier
Bei großem C: Anfällig für Ausreißer.
Mathematische Sicht
Vector Inner Product
u^T v
$||u|| = \sqrt{u_1^2 + u_2^2}$
p = Länger der Projektion von v auf u.
$u^Tv = p * ||u|| = u_1 v_1 + u_2 v_2$
$p \in R$ positive oder negativ (abhängig von Winkel)
$\min_\theta 1/2 \sum_{j=1}^n \theta_j^2 = 1/2 ||\theta||^2$