Differences

This shows you the differences between two versions of the page.

--- data_mining:correlation [2015/08/20 15:37] – [Correlation] phreazer
+++ data_mining:correlation [2015/08/20 16:38] – [Correlation] phreazer
@@ Line 2: / Line 2: @@
 Covarianz (nicht-standardisierter Pearson Korrelationskoeffizient)
+Lineare Abhängigkeiten.
 <nowiki>
@@ Line 38: / Line 40: @@
 Total Correlation als **multivariate** Generalisierung von MI.
+===== Schätzung =====
+Schätzung der Joint Distribution $p(x,y)$ aus empirischen Daten. Histogramme der Verteilung der Attribute. Bins des Histogramms wird so gewählt, dass Randverteilung fast gleichverteilt sind. Anzahl der Bins wurde so gewählt, dass die bias-korrigierte Information von jeder Zelle maximiert wird (Treves and Panzeri 1995, Nelken et al. 2005).
+Solange die Samplezahl sehr viel größer ist als die Anzahl der Bins erhält man mit der Verwendung der empirischen Verteilung $\hat{p}$ eine gute Schätzung:
+\begin{align*}
+I(\hat{p}(X;Y)) &=\sum_{x,y}\hat{p}(x,y)\left[\log \hat{p}(x,y)-\log \hat{p}(x)\hat{p}(y)\right]
+\end{align*}
+Wobei $\hat{p}(x) = \sum_x \hat{p}(x,y)$ als empirische Randverteilungen verwendet werden.
+Der Schätzer besitzt einen positiven Bias, der aber verbessert werden kann (http://ai.stanford.edu/~gal/Research/Redundancy-Reduction/Neuron_suppl/node2.html).
 ====== Total correlation ======