data_mining:mutual_information

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
data_mining:mutual_information [2015/08/14 00:33] – [Naive KNN] phreazerdata_mining:mutual_information [2015/08/14 02:21] (current) – [Beispiel:] phreazer
Line 7: Line 7:
  
 **Entropiebasiert** **Entropiebasiert**
 +
 Differenz von Quell-Entropie und Äquivokation oder Empfangsentropie und Fehlinformation. Differenz von Quell-Entropie und Äquivokation oder Empfangsentropie und Fehlinformation.
  
Line 25: Line 26:
 $D(P||Q) = KL(P,Q) = \sum_{x \in X} P(x) * log \frac{P(x)}{Q(x)}$ $D(P||Q) = KL(P,Q) = \sum_{x \in X} P(x) * log \frac{P(x)}{Q(x)}$
  
 +==== Beispiel: ====
 +F ist Feature und T ist Target => I(F,B)
 +Siehe auch https://www.youtube.com/watch?v=hlGJ1M8T5oA
 ===== Schätzer ===== ===== Schätzer =====
  
Line 34: Line 38:
  
 Für $d>2$ ist die generalisierte MI die total correlation oder multi-information. Gegeben N i.i.d. samples $X$ Schätzer $I(x)$ basierend auf Samples. Für $d>2$ ist die generalisierte MI die total correlation oder multi-information. Gegeben N i.i.d. samples $X$ Schätzer $I(x)$ basierend auf Samples.
 +
 +Naive KNN-Schätzer:
 +
 +- Asymptotic unbiased estimator
  • data_mining/mutual_information.1439505193.txt.gz
  • Last modified: 2015/08/14 00:33
  • by phreazer