data_mining:naive_bayes [AE Wiki]

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
<WRAP center round todo 60%>
Draft
</WRAP>

====== Problem ======
p(B) gegeben R, F, G, C

Kaufwahrscheinlichkeit P(B)

Bedingte Wahrscheinlichkeit gesucht P(B|R,F,G,C)

Probleme: 
  * 2^x bedingte Wahrscheinlichkeiten zu berechnen
  * unzureichende Historie, da manche Fälle nicht auftreten

====== Bayes rule ======

**Datensatz:**

^ R ^ B |
| y | y |
| n | n |
| y | n |

  * n: Einträge
  * R=y für r Fälle
  * B=y für k Fälle
  * R=y und B=y für i Fälle

  * $p(B|R) = i/r$
  * $p(R) = r/n$
  * $p(R und B) = i/n = (i/r) * (r/n)$
  * $p(B,R) = p(B|R) p(R)$

Bayes Rule:
$P(B,R) = P(B|R) P(R) = P(R|B) P(B)$

Bayes Theorem:
$P(B|R) = \frac{P(B,R)}{P(R)} = \frac{P(R|B)P(B)}{P(R)}$

A-Priori-Wkeit: $P(B)$
Likelihood: $P(R|B)$
A-Posterior-Wkeit: $P(B|R)$
===== Beispiel =====
Question 1:
If a person has malaria (mp), there is 90% chance that the blood test for malarial parasite comes up positive (tp); however, 1% of the time the test gives a false positive (tp and mn). Also, there is a 1% chance of getting malaria in general (mp).

Unfortunately, you happen to test positive. What is the chance of your having malaria?

Geg.:
  * $P(tp | mp) = 0,9$
  * $P(tp | mn) = 0,01$
  * $P(mp) = 0,01$

Gesucht:
$P(mp|tp) = \frac{P(tp|mp) * P(mp)}{P(tp)} = \frac{0,9 * 0,01}{0,9*0,01+0,01*(1-0,01)} = 0,476$ 

Question 2:
Now suppose your doctor had employed a far superior, more expensive test, one with only a .1% chance of a false positive. (Other parameters are the same - 90% chance of a true positive, 1% chance of malaria in general.)

What is the chance that you have malaria if you test positive with this improved procedure?

  * $P(tp | mp) = 0,9$
  * $P(tp | mn) = 0,001$
  * $P(mp) = 0,01$

Gesucht:
$P(mp|tp) = \frac{P(tp|mp) * P(mp)}{P(tp)} = \frac{0,9 * 0,01}{0,9*0,01+0,001*(1-0,01)} = 0,901$ 

====== Unabhängigkeit ======

Angenommen B und R sind voneinander unabhängig.

P(R) = r/n, P(C)= c/n
P(R|C) = i/c, P(C|R) = i/r

R und B sind voneinander unabhängig wenn und nur wenn
i/c = r/n; i/r = c/n

P(R|B) = P(R); P(B|R) = P(B)

====== Naive Bayes ======

Naiv wegen Annahme: R und C sind unabhängig gegeben B

$$
P(B|R,C) * P(R,C) = P(R,C|B) * P(B)\\
= P(R|C,B) * P(C|B) * P(B)    (Bayes Rule)\\
= P(R|C) * P(C|B) * P(B)      (Unabhängigkeit)
$$

Verhältnis berechnen:
$$
\frac{p(r|B=y) * p(c|B=y) * p(B=y)}{p(r|B=n) * p(c|B=n) * p(B=n)}
$$

B=y, wenn $>\alpha$ (z.B. 1), sonst B=n

====== Naive Bayes für N features ======

$$
L = \prod_{i=1}^N \frac{p(x_i|B=y)}{p(x_i|B=n)} * \frac{p(B=y)}{p(B=n)}
$$
B=y, wenn $>\alpha$ (z.B. 1), sonst B=n

log-likelihood => Anstelle von Multiplikation zu Addition um Rundungsfehler zu vermeiden

====== Beispielhafte Sentiment Analysis ======
p(+),p(-),
p(like|+), p(enjoy|+), p(hate|+), ...
P(hate|-), p(enjoy|-), p(lot|-), ...

Im Text: like, simple, lot

$$
L = \frac{p(like|+)p(lot|+)[1-p(hate|+)][1-p(waste|+)]p(simple|+)}{p(like|-)p(lot|-)[1-p(hate|-)][1-p(waste|-)]p(simple|-)} * \frac{p(+)}{p(-)}
$$