data_mining:mutual_information

This is an old revision of the document!


Mutual Information

Gibt die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen an.

Alternative Bezeichnungen: Transinformation, Synentropie.

Entropiebasiert Differenz von Quell-Entropie und Äquivokation oder Empfangsentropie und Fehlinformation.

$I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)$

Wahrscheinlichkeiten

$I(X;Y) = \sum_x \sum_y p(x,y) * log_2(\frac{p(x,y)}{p(x)p(y)})$

mit $p(x,y)$ als multivariate Wahrscheinlichkeitsverteilung (jpf) und $p(x), p(y)$ als Randverteilung.

Kullback-Leibler-Divergenz

$I(X;Y) = D(p(x,y)||p(x)p(y))$

mit

$D(P||Q) = KL(P,Q) = \sum_{x \in X} P(x) * log \frac{P(x)}{Q(x)}$

  • data_mining/mutual_information.1439495548.txt.gz
  • Last modified: 2015/08/13 21:52
  • by phreazer