Mutual Information

Gibt die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen an.

Alternative Bezeichnungen: Transinformation, Synentropie.

Entropiebasiert Differenz von Quell-Entropie und Äquivokation oder Empfangsentropie und Fehlinformation.

$I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)$

Wahrscheinlichkeiten

$I(X;Y) = \sum_x \sum_y p(x,y) * log_2(\frac{p(x,y)}{p(x)p(y)})$

Kullback-Leibler-Divergenz

$I(X;Y) = D(p(x,y)||p(x)p(y))$

mit

$D(P||Q) = KL(P,Q) = \sum_{x \in X} P(x) * log \frac{P(x)}{Q(x)}$