data_mining:correlation

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
data_mining:correlation [2015/08/20 15:37] – [Correlation] phreazerdata_mining:correlation [2017/08/06 23:49] (current) phreazer
Line 2: Line 2:
  
 Covarianz (nicht-standardisierter Pearson Korrelationskoeffizient) Covarianz (nicht-standardisierter Pearson Korrelationskoeffizient)
 +
 +Lineare Abhängigkeiten.
  
 <nowiki> <nowiki>
Line 38: Line 40:
  
 Total Correlation als **multivariate** Generalisierung von MI. Total Correlation als **multivariate** Generalisierung von MI.
 +
 +===== Schätzung =====
 +
 +Schätzung der Joint Distribution $p(x,y)$ aus empirischen Daten. Histogramme der Verteilung der Attribute. Bins des Histogramms wird so gewählt, dass Randverteilung fast gleichverteilt sind. Anzahl der Bins wurde so gewählt, dass die bias-korrigierte Information von jeder Zelle maximiert wird (Treves and Panzeri 1995, Nelken et al. 2005).
 +
 +Solange die Samplezahl sehr viel größer ist als die Anzahl der Bins erhält man mit der Verwendung der empirischen Verteilung $\hat{p}$ eine gute Schätzung:
 +
 +\begin{align*}
 +I(\hat{p}(X;Y)) &=\sum_{x,y}\hat{p}(x,y)\left[\log \hat{p}(x,y)-\log \hat{p}(x)\hat{p}(y)\right]
 +\end{align*}
 +
 +Wobei $\hat{p}(x) = \sum_x \hat{p}(x,y)$ als empirische Randverteilungen verwendet werden.
 +
 +Der Schätzer besitzt einen positiven Bias, der aber verbessert werden kann (http://ai.stanford.edu/~gal/Research/Redundancy-Reduction/Neuron_suppl/node2.html).
  
 ====== Total correlation ====== ====== Total correlation ======
Line 53: Line 69:
  
 Die maximale totale Correlation tritt auf, wenn eine Variable alle anderen Variabeln bestimmen kann. Die maximale totale Correlation tritt auf, wenn eine Variable alle anderen Variabeln bestimmen kann.
 +
 +====== Correlation for categorial values ======
 +
 +See https://en.wikipedia.org/wiki/Polychoric_correlation
 +
  • data_mining/correlation.1440077855.txt.gz
  • Last modified: 2015/08/20 15:37
  • by phreazer