Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revisionNext revisionBoth sides next revision | ||
data_mining:correlation [2015/08/20 02:15] – [Mutual information] phreazer | data_mining:correlation [2015/08/20 16:35] – [Schätzung] phreazer | ||
---|---|---|---|
Line 1: | Line 1: | ||
====== Correlation ====== | ====== Correlation ====== | ||
+ | Covarianz (nicht-standardisierter Pearson Korrelationskoeffizient) | ||
+ | < | ||
+ | \begin{align*} | ||
+ | \operatorname{Cov}(X, | ||
+ | &= \sum_{x, | ||
+ | \end{align*} | ||
+ | </ | ||
+ | (Gewichtete Summe des Produkts aus x und y) | ||
+ | ===== Schätzung ===== | ||
+ | Stichprobenkovarianz als erwartungstreue Schätzung der Kovarianz einer Grundgesamtheit. | ||
- | ====== Total correlation ====== | + | $$s_{xy} := \frac{1}{n} \sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y})$$ |
- | Geht auf Watanabe 1960 zurück | + | |
- | Generalisierung der Mutual Information. | + | |
- | Quantifiziert die Redundanz oder Abhängigkeit einer Menge von $n$ Zufallsvariablen. | + | |
- | Für eine Menge von ZVs $\{X_1, | + | Korrigierte Stichprobenkovarianz |
- | $$C(X_1, | ||
- | wobei $H(X_i)$ die Entropie von $X_i$ und $H(X_1,...,X_n)$ die gemeinsame Entropie | + | $$s_{xy} := \frac{1}{n-1} \sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y})$$ |
- | Die totale Correlation gibt die Menge der Informationen an, die unter den Variablen einer Menge geteilt wird. $ \sum_{i=1}^n H(X_i)$ entspricht | + | ====== Mutual information ====== |
+ | Ähnlichkeit zwischen Joint Probability Distribution (multivar. Verteilung) | ||
+ | < | ||
+ | \begin{align*} | ||
+ | I(X;Y) &= E\left (\log \frac{p(x,y)}{p(x)p(y)}\right) = \sum_{y \in Y} \sum_{x \in X} p(x,y) \log \left(\frac{p(x,y)}{p(x)p(y)}\right)\\ | ||
+ | & | ||
+ | \end{align*} | ||
+ | </ | ||
- | Die maximale totale Correlation tritt auf, wenn eine Variable alle anderen Variabeln bestimmen kann. | + | (Gewichtete Summe der multivariaten Verteilung von x und y.) |
- | ====== | + | Wenn X und Y unabhängig sind, dann kann aus X keine Informationen über Y abgeleitet werden. Wenn X und Y unabhängig, |
- | Ähnlichkeit zwischen | + | |
+ | $$I(X; | ||
+ | |||
+ | Total Correlation als **multivariate** Generalisierung von MI. | ||
+ | |||
+ | ===== Schätzung | ||
+ | |||
+ | Schätzung der Joint Distribution $p(x,y)$ aus empirischen Daten. Histogramme | ||
+ | |||
+ | Solange die Samplezahl sehr viel größer ist als die Anzahl der Bins erhält man mit der Verwendung der empirischen Verteilung $\hat{p}$ eine gute Schätzung: | ||
\begin{align*} | \begin{align*} | ||
- | I(X;Y) &= E\left (\log \frac{p(x,y)}{p(x)p(y)}\right) = \sum_{y \in Y} \sum_{x \in X} p(x,y) \log \left(\frac{p(x,y)}{p(x)p(y)}\right)\\ | + | I(\hat{p}(X;Y)) &=\sum_{x,y}\hat{p}(x, |
\end{align*} | \end{align*} | ||
- | Wenn X und Y unabhängig sind, dann kann aus X keine Informationen über Y abgeleitet werden. Wenn X und Y unabhängig, | + | Wobei $\hat{p}(x) = \sum_x \hat{p}(x,y)$ als empirische Randverteilungen verwendet werden. |
- | $$I(X;Y) = H(X) - H(X|Y)$$ | + | Der Schätzer besitzt einen positiven Bias, der aber verbessert werden kann (http:// |
- | Total Correlation als multivariate Generalisierung | + | ====== Total correlation ====== |
+ | * Geht auf Watanabe 1960 zurück. | ||
+ | * Generalisierung der Mutual Information. | ||
+ | * Quantifiziert die Redundanz oder Abhängigkeit einer Menge von $n$ Zufallsvariablen. | ||
+ | |||
+ | Für eine Menge von ZVs $\{X_1, | ||
+ | |||
+ | $$C(X_1, | ||
+ | |||
+ | wobei $H(X_i)$ die Entropie | ||
+ | |||
+ | Die totale Correlation gibt die Menge der Informationen an, die unter den Variablen einer Menge geteilt wird. $ \sum_{i=1}^n H(X_i)$ entspricht der Anzahl der bits, wenn die Variablen unabhängig voneinander wären. $H(X_1, | ||
+ | |||
+ | Die maximale totale Correlation tritt auf, wenn eine Variable alle anderen Variabeln bestimmen kann. |