data_mining:naive_bayes

This is an old revision of the document!


Draft

Problem

p(B) gegeben R, F, G, C

Kaufwahrscheinlichkeit P(B)

Bedingte Wahrscheinlichkeit gesucht P(B|R,F,G,C)

Probleme:

  • 2^x bedingte Wahrscheinlichkeiten zu berechnen
  • unzureichende Historie, da manche Fälle nicht auftreten

Bayes rule

Datensatz:

R B
y y
n n
y n

n: Einträge R=y für r Fälle B=y für k Fälle R=y und B=y für i Fälle

p(B|R) = i/r p(R) = r/n p(R und B) = i/n = (i/r) * (r/n) p(B,R) = p(B|R) p(R)

Bayes Rule: $P(B,R) = P(B|R) P(R) = P(R|B) P(B)$

If a person has malaria, there is 90% chance that the blood test for malarial parasite comes up positive; however, 1% of the time the test gives a false positive. Also, there is a 1% chance of getting malaria in general.

Unfortunately, you happen to test positive. What is the chance of your having malaria?

P(tp | mp) = 0,9 P(tp | mn) = 0,01 P(mp) = 0,01

Gesucht $P(mp|tp) = \frac{P(tp|mp) * P(mp)}{P(tp)} = \frac{0,9 * 0,01}{0,9*0,01+0,01*(1-0,01)} = 0,476$

Test 2 Now suppose your doctor had employed a far superior, more expensive test, one with only a .1% chance of a false positive. (Other parameters are the same - 90% chance of a true positive, 1% chance of malaria in general.)

What is the chance that you have malaria if you test positive with this improved procedure?

P(tp | mp) = 0,9 P(tp | mn) = 0,001 P(mp) = 0,01

Gesucht $P(mp|tp) = \frac{P(tp|mp) * P(mp)}{P(tp)} = \frac{0,9 * 0,01}{0,9*0,01+0,001*(1-0,01)} = 0,901$

Unabhängigkeit

Angenommen B und R sind voneinander unabhängig.

P(R) = r/n, P(C)= c/n P(R|C) = i/c, P(C|R) = i/r

R und B sind voneinander unabhängig wenn und nur wenn i/c = r/n; i/r = c/n

P(R|B) = P(R); P(B|R) = P(B)

Naive Bayes

Naiv wegen Annahme: R und C sind unabhängig gegeben B

$$ P(B|R,C) * P(R,C) = P(R,C|B) * P(B)\\ = P(R|C,B) * P(C|B) * P(B) (Bayes Rule)\\ = P(R|C) * P(C|B) * P(B) (Unabhängigkeit) $$

Verhältnis berechnen: $$ \frac{p(r|B=y) * p(c|B=y) * p(B=y)}{p(r|B=n) * p(c|B=n) * p(B=n)} $$

B=y, wenn $>\alpha$ (z.B. 1), sonst B=n

Naive Bayes für N features

$$ L = \prod_{i=1}^N \frac{p(x_i|B=y)}{p(x_i|B=n)} * \frac{p(B=y)}{p(B=n)} $$ B=y, wenn $>\alpha$ (z.B. 1), sonst B=n

  • data_mining/naive_bayes.1379254076.txt.gz
  • Last modified: 2014/02/11 21:47
  • (external edit)