data_mining:entropie

This is an old revision of the document!


Entropie

Claude Shannon (1948): Information hängt mit der Überraschung zusammen

Nachricht über ein Ereignis mit Wahscheinlichkeit p umfasst $- \mathit{log}_2 p$ Bits an Informationen

Beispiel für eine faire Münze : $- \mathit{log}_2 0.5 = 1$

  • data_mining/entropie.1379249214.txt.gz
  • Last modified: 2014/02/11 21:47
  • (external edit)