Claude Shannon (1948): Information hängt mit der Überraschung zusammen

Nachricht über ein Ereignis mit Wahscheinlichkeit p umfasst $- \mathit{log}_2 p$ Bits an Informationen

Beispiel für eine faire Münze : $- \mathit{log}_2 0.5 = 1$

Werte eines Features, F ⇒ ML-Algo ⇒ Vorhergesagte Werte eines Verhaltens B

Mutual Information zwischen F und B definiert als

$$ I(F,B) \equiv \sum_{f,b} p(f,b) log \frac{p(f,b)}{p(f)p(b)} $$

Summieren über Feature und Verhalten