Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revisionNext revisionBoth sides next revision | ||
data_mining:mutual_information [2015/08/14 00:29] – [Definitionen] phreazer | data_mining:mutual_information [2015/08/14 02:13] – [Definitionen] phreazer | ||
---|---|---|---|
Line 7: | Line 7: | ||
**Entropiebasiert** | **Entropiebasiert** | ||
+ | |||
Differenz von Quell-Entropie und Äquivokation oder Empfangsentropie und Fehlinformation. | Differenz von Quell-Entropie und Äquivokation oder Empfangsentropie und Fehlinformation. | ||
Line 30: | Line 31: | ||
$x$ ist d-dimensionale kontinuierliche ZV mit pdf p und Randichten $p_j$ für jedes $x_j$. | $x$ ist d-dimensionale kontinuierliche ZV mit pdf p und Randichten $p_j$ für jedes $x_j$. | ||
- | $H(x) = - \int_{R^d} p(x) log p(x) dx$ | + | \begin{align}H(x)& = - \int_{R^d} p(x) log p(x) dx \\I(x)& = - \int_{R^d} p(x) log \frac{p(x)}{\prod_{j=1}^{d} p_j(x_j)} dx\end{align} |
- | $I(x) = - \int_{R^d} p(x) log \frac{p(x)}{\prod_{j=1}^{d} p_j(x_j)} dx$ | + | |
+ | |||
+ | Für $d>2$ ist die generalisierte MI die total correlation oder multi-information. Gegeben N i.i.d. samples $X$ Schätzer $I(x)$ basierend auf Samples. | ||
+ | |||
+ | Naive KNN-Schätzer: | ||
- | Für $d>2$ ist die generalisierte MI die total correlation oder multi-information. Gegeben N i.i.d. samples $\Chi$ Schätzer $I(x)$ basierend auf Samples. | + | - Asymptotic unbiased estimator |