Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revisionLast revisionBoth sides next revision | ||
data_mining:mutual_information [2015/08/14 00:44] – [Naive KNN] phreazer | data_mining:mutual_information [2015/08/14 02:16] – [Definitionen] phreazer | ||
---|---|---|---|
Line 7: | Line 7: | ||
**Entropiebasiert** | **Entropiebasiert** | ||
+ | |||
Differenz von Quell-Entropie und Äquivokation oder Empfangsentropie und Fehlinformation. | Differenz von Quell-Entropie und Äquivokation oder Empfangsentropie und Fehlinformation. | ||
Line 24: | Line 25: | ||
$D(P||Q) = KL(P,Q) = \sum_{x \in X} P(x) * log \frac{P(x)}{Q(x)}$ | $D(P||Q) = KL(P,Q) = \sum_{x \in X} P(x) * log \frac{P(x)}{Q(x)}$ | ||
+ | |||
+ | ==== Beispiel: ==== | ||
+ | F ist Feature und T ist Target => I(F,B) | ||
===== Schätzer ===== | ===== Schätzer ===== |