Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revisionNext revisionBoth sides next revision | ||
data_mining:correlation [2015/08/20 02:00] – phreazer | data_mining:correlation [2015/08/20 16:35] – [Schätzung] phreazer | ||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== | + | ====== |
- | Geht auf Watanabe 1960 zurück | + | |
- | Generalisierung der Mutual Information. | + | |
- | Quantifiziert die Redundanz oder Abhängigkeit einer Menge von $n$ Zufallsvariablen. | + | |
- | Für eine Menge von ZVs $\{X_1, | + | Covarianz |
- | $$C(X_1,...,X_n) = \sum_{i=1}^n H(X_i) - H(X_1, X_2, ..., X_n)$$ | + | < |
+ | \begin{align*} | ||
+ | \operatorname{Cov}(X,Y) &= E[(X-E(X))(Y-E(Y))] = E(XY) - E(X)E(Y) \\ | ||
+ | &= \sum_{x,y}p(x,y)xy - \left(\sum_xp(x)x\right)\cdot \left(\sum_yp(y)y\right) = \sum_{x,y}\left[p(x,y)-p(x)p(y)\right]xy | ||
+ | \end{align*} | ||
+ | </ | ||
- | wobei $H(X_i)$ die Entropie von $X_i$ und $H(X_1, | + | (Gewichtete Summe des Produkts aus x und y) |
- | Die totale Correlation gibt die Menge der Informationen an, die unter den Variablen einer Menge geteilt wird. $ \sum_{i=1}^n H(X_i)$ entspricht | + | ===== Schätzung ===== |
+ | Stichprobenkovarianz als erwartungstreue Schätzung | ||
- | Die maximale totale Correlation tritt auf, wenn eine Variable alle anderen Variabeln bestimmen kann. | + | $$s_{xy} := \frac{1}{n} \sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y})$$ |
+ | |||
+ | Korrigierte Stichprobenkovarianz (ewartungstreu): | ||
+ | |||
+ | |||
+ | $$s_{xy} := \frac{1}{n-1} \sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y})$$ | ||
====== Mutual information ====== | ====== Mutual information ====== | ||
- | Ähnlichkeit zwischen Joint Distribution $p(X,Y)$ und der Produkte der Mariginal Distribution (Randverteilung) $p(X), | + | Ähnlichkeit zwischen Joint Probability |
+ | < | ||
+ | \begin{align*} | ||
+ | I(X;Y) &= E\left (\log \frac{p(x, | ||
+ | & | ||
+ | \end{align*} | ||
+ | </ | ||
- | $$I(X;Y) = \sum_{y \in Y} \sum_{x \in X} p(x,y) \log(\frac{p(x, | + | (Gewichtete Summe der multivariaten Verteilung von x und y.) |
- | Wenn X und Y unabhängig sind, dann kann aus X keine Informationen über Y abgeleitet werden. Wenn X und Y unabhängig, | + | Wenn X und Y unabhängig sind, dann kann aus X keine Informationen über Y abgeleitet werden. Wenn X und Y unabhängig, |
$$I(X;Y) = H(X) - H(X|Y)$$ | $$I(X;Y) = H(X) - H(X|Y)$$ | ||
- | Total Correlation als multivariate Generalisierung von MI. | + | Total Correlation als **multivariate** Generalisierung von MI. |
+ | |||
+ | ===== Schätzung ===== | ||
+ | |||
+ | Schätzung der Joint Distribution $p(x,y)$ aus empirischen Daten. Histogramme der Verteilung der Attribute. Bins des Histogramms wird so gewählt, dass Randverteilung fast gleichverteilt sind. Anzahl der Bins wurde so gewählt, dass die bias-korrigierte Information von jeder Zelle maximiert wird (Treves and Panzeri 1995, Nelken et al. 2005). | ||
+ | |||
+ | Solange die Samplezahl sehr viel größer ist als die Anzahl der Bins erhält man mit der Verwendung der empirischen Verteilung $\hat{p}$ eine gute Schätzung: | ||
+ | |||
+ | \begin{align*} | ||
+ | I(\hat{p}(X; | ||
+ | \end{align*} | ||
+ | |||
+ | Wobei $\hat{p}(x) = \sum_x \hat{p}(x, | ||
+ | |||
+ | Der Schätzer besitzt einen positiven Bias, der aber verbessert werden kann (http:// | ||
+ | |||
+ | ====== Total correlation ====== | ||
+ | * Geht auf Watanabe 1960 zurück. | ||
+ | * Generalisierung der Mutual Information. | ||
+ | * Quantifiziert die Redundanz oder Abhängigkeit einer Menge von $n$ Zufallsvariablen. | ||
+ | |||
+ | Für eine Menge von ZVs $\{X_1, | ||
+ | |||
+ | $$C(X_1, | ||
+ | |||
+ | wobei $H(X_i)$ die Entropie von $X_i$ und $H(X_1, | ||
+ | |||
+ | Die totale Correlation gibt die Menge der Informationen an, die unter den Variablen einer Menge geteilt wird. $ \sum_{i=1}^n H(X_i)$ entspricht der Anzahl der bits, wenn die Variablen unabhängig voneinander wären. $H(X_1, | ||
+ | |||
+ | Die maximale totale Correlation tritt auf, wenn eine Variable alle anderen Variabeln bestimmen kann. |