data_mining:mutual_information

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
data_mining:mutual_information [2015/08/13 19:52] – [Definitionen] phreazerdata_mining:mutual_information [2015/08/14 00:21] (current) – [Beispiel:] phreazer
Line 7: Line 7:
  
 **Entropiebasiert** **Entropiebasiert**
 +
 Differenz von Quell-Entropie und Äquivokation oder Empfangsentropie und Fehlinformation. Differenz von Quell-Entropie und Äquivokation oder Empfangsentropie und Fehlinformation.
  
Line 24: Line 25:
  
 $D(P||Q) = KL(P,Q) = \sum_{x \in X} P(x) * log \frac{P(x)}{Q(x)}$ $D(P||Q) = KL(P,Q) = \sum_{x \in X} P(x) * log \frac{P(x)}{Q(x)}$
 +
 +==== Beispiel: ====
 +F ist Feature und T ist Target => I(F,B)
 +Siehe auch https://www.youtube.com/watch?v=hlGJ1M8T5oA
 +===== Schätzer =====
 +
 +==== Naive KNN ====
 +$x$ ist d-dimensionale kontinuierliche ZV mit pdf p und Randichten $p_j$ für jedes $x_j$.
 +
 +\begin{align}H(x)& = - \int_{R^d} p(x) log p(x) dx \\I(x)& = - \int_{R^d} p(x) log \frac{p(x)}{\prod_{j=1}^{d} p_j(x_j)} dx\end{align}
 +
 +
 +Für $d>2$ ist die generalisierte MI die total correlation oder multi-information. Gegeben N i.i.d. samples $X$ Schätzer $I(x)$ basierend auf Samples.
 +
 +Naive KNN-Schätzer:
 +
 +- Asymptotic unbiased estimator
  • data_mining/mutual_information.1439495548.txt.gz
  • Last modified: 2015/08/13 19:52
  • by phreazer