Antworten
Die Shannon - Entropie ist ein Maß für die Unsicherheit oder den Informationsgehalt einer Zufallsvariable und beschreibt, wie viel „Information“ im Durchschnitt in einer Nachricht enthalten ist.
Die Shannon-Entropie ist ein Maß für die Informationsmenge oder Ungewissheit in einer Nachricht oder einem Informationssystem. Entwickelt von Claude Shannon 1948, quantifiziert sie, wie viel Information im Durchschnitt in einer Quelle steckt. Mathematisch wird die Entropie HH für eine Wahrscheinlichkeitsverteilung p1,p2,…,pnp1,p2,…,pn über mögliche Ereignisse berechnet als
H=−∑i=1npilog2piH=−i=1∑npilog2pi
Dabei steht pipi für die Wahrscheinlichkeit des Ereignisses ii. Ist die Verteilung gleichmäßig, ist die Entropie hoch, da die Ereignisse unvorhersehbar sind. Bei sicherem Ausgang (Wahrscheinlichkeit 1) ist die Entropie null, da keine neue Information entsteht. Die Shannon-Entropie ist grundlegend für die Informationstheorie, da sie etwa die theoretische Grenze der Datenkompression angibt und in Bereichen wie Kryptographie und Kommunikationstechnik Anwendung findet. Sie beschreibt, wie viel Überraschung oder Unsicherheit in einer Informationsquelle steckt.
