This is an old revision of the document!
Entropie
Claude Shannon (1948): Information hängt mit der Überraschung zusammen
Nachricht über ein Ereignis mit Wahscheinlichkeit p umfasst $- \mathit{log}_2 p$ Bits an Informationen
Beispiel für eine faire Münze : $- \mathit{log}_2 0.5 = 1$
Mutual information
Werte eines Features, F ⇒ ML-Algo ⇒ Vorhergesagte Werte eines Verhaltens B
H(F) ⇒ ML-Algo ⇒ H(B)
Mutual Information zwischen F und B definiert als
$$ I(F,B) \equiv \sum_{f,b} p(f,b) log \frac{p(f,b)}{p(f)p(b)} $$
Summieren über Feature und Verhalten
Erklärung Verhältnis-Teil: Wenn Feature und Verhalten unabhängig, dann $p(f,b) = p(f)p(b)$ und $I(F,B) = 0$
D.h. Vorhersage ist unmöglich.
H(F) + H(B) - H(F,B)