This is an old revision of the document!
Mutual Information
Gibt die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen an.
Alternative Bezeichnungen: Transinformation, Synentropie.
Definitionen
Entropiebasiert Differenz von Quell-Entropie und Äquivokation oder Empfangsentropie und Fehlinformation. $I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)$
Wahrscheinlichkeiten $I(X;Y) = \sum_x \sum_y p(x,y) * log_2(\frac{p(x,y)}{p(x)p(y)})$