data_mining:entropie

This is an old revision of the document!


Entropie

Claude Shannon (1948): Information hängt mit der Überraschung zusammen

Nachricht über ein Ereignis mit Wahscheinlichkeit p umfasst $- \mathit{log}_2 p$ Bits an Informationen

Beispiel für eine faire Münze : $- \mathit{log}_2 0.5 = 1$

Mutual information

Werte eines Features, F ⇒ ML-Algo ⇒ Vorhergesagte Werte eines Verhaltens B

H(F) ⇒ ML-Algo ⇒ H(B)

Mutual Information zwischen F und B definiert als

$$ I(F,B) \equiv \sum_{f,b} p(f,b) log \frac{p(f,b)}{p(f)p(b)} $$

Summieren über Feature und Verhalten

Erklärung Verhältnis-Teil: Wenn Feature und Verhalten unabhängig, dann $p(f,b) = p(f)p(b)$ und $I(F,B) = 0$

D.h. Vorhersage ist unmöglich.

H(F) + H(B) - H(F,B)

Smoothing $$ p(+)=0,75\\ p(-)=0,25\\ p(hate)=800/8000\\ p(~hate)=7200/8000\\ p(hate,+)=1/8000 \text{(kommt in keinem positiven Kommentar vor, 1 anstelle von Null => Smoothing)}\\ p(~hate,+)=6000/8000\\ p(hate,-)=1200/8000\\ p(~hate,-)=0,1 $$

  • data_mining/entropie.1379258425.txt.gz
  • Last modified: 2014/02/11 21:47
  • (external edit)