This is an old revision of the document!
Entropie
Claude Shannon (1948): Information hängt mit der Überraschung zusammen
Nachricht über ein Ereignis mit Wahscheinlichkeit p umfasst $- \mathit{log}_2 p$ Bits an Informationen
Beispiel für eine faire Münze : $- \mathit{log}_2 0.5 = 1$