Shannon-Entropie

Wie viel Ungewissheit eine Verteilung trägt, lässt sich in Bit pro Zeichen beziffern — und keine Kompression der Welt kommt je unter diese Zahl.

Als Nächstes empfohlen → Wahrscheinlichkeitsverteilungen · MATH · T5

Der Beitrag

Im Juli 1948 druckte das Bell System Technical Journal eine lange Abhandlung: A Mathematical Theory of Communication, verfasst von einem zweiunddreißigjährigen Ingenieur namens Claude Shannon. Der Text war technisch und dicht — und galt sofort als eine der wichtigsten wissenschaftlichen Veröffentlichungen des zwanzigsten Jahrhunderts. Shannon ging einer Frage nach, die sich nicht beantworten ließ, ehe jemand sie präzise stellte — und genau das tat er: Was ist Information, mathematisch gefasst? Mit wie wenigen Bits lässt sich eine Nachricht zuverlässig über einen verrauschten Kanal bringen? Seine Antwort begründete die Informationstheorie als eigene Disziplin, gab der Welt die moderne Definition des Bits — und vereinigte, zur Überraschung aller, die an dieser Grenze arbeiteten, Information mit thermodynamischer Entropie.

Man nehme eine diskrete Zufallsvariable X mit den Werten x₁, x₂, …, xₙ und den Wahrscheinlichkeiten p₁, p₂, …, pₙ. Ihre Entropie definierte Shannon als H(X) = −Σ pᵢ · log₂ pᵢ — eine in Bit gemessene Zahl, die die mittlere Ungewissheit über X beziffert, oder gleichbedeutend: wie viele Ja/Nein-Fragen im Mittel nötig sind, um den Wert von X auf klügstem Weg zu ermitteln. Die Eigenschaften decken sich mit der Intuition. Steht X fest, ist H null — nichts ist ungewiss; am größten wird H bei der Gleichverteilung — mehr Ungewissheit lässt ein gegebenes Alphabet nicht zu; und für unabhängige Variablen addiert sich H — die Ungewissheit eines Paares ist die Summe der einzelnen Ungewissheiten. Shannons Quellencodierungssatz, das theoretische Herzstück der Kompression, besagt: Kein verlustfreier Code für X kommt im Mittel mit weniger als H(X) Bit pro Symbol aus — und Codes, die dieser Schranke beliebig nahe kommen, existieren, etwa die Huffman-Codierung und die arithmetische Codierung. Sein Kanalcodierungssatz wiederum besagt, dass jeder Kanal eine höchste zuverlässig erreichbare Übertragungsrate besitzt, die Kanalkapazität C — und unterhalb von C drücken geeignete Codes (Blockcodes, später Turbo- und LDPC-Codes) die Fehlerrate beliebig tief. Exakt ist auch die Verbindung zur Thermodynamik: Boltzmanns S = k_B · ln W und Shannons H = −Σ p log p sind ein und dieselbe Größe, verschieden allein in den Einheiten. Der Maxwellsche Dämon — jenes Wesen aus dem neunzehnten Jahrhundert, das den Zweiten Hauptsatz durch Molekülsortieren überlisten sollte — fand in Shannons Rahmen endlich seine Auflösung: Die Informationsverarbeitung des Dämons trägt einen entropischen Preis, der den erzielten Entropierückgang exakt aufwiegt. Konkret wurde das im Landauer-Prinzip (1961): Ein einziges Bit zu löschen kostet mindestens k_B·T·ln 2 an Energie — eine thermodynamische Untergrenze des Rechnens, an die die Chipentwicklung seit den 2020er Jahren allmählich stößt.

Warum jetztJeder Kompressionsalgorithmus — gzip, JPEG, MP3, H.265, auch die LLM-Tokenisierung, mit der jede moderne KI arbeitet — ist so entworfen, dass er Shannons Quellencodierungs-Schranke möglichst nahekommt. Jedes Kommunikationssystem — WLAN, 5G, GPS, Raumsonden weit draußen im All, Glasfaser — hat Shannons Kanalkapazität als feste Obergrenze im Lastenheft; moderne Codes (LDPC, Polar-Codes) reichen bis auf Bruchteile eines Dezibels an sie heran. Die Kreuzentropie, die Standard-Verlustfunktion beim Training von Klassifikatoren und Sprachmodellen, ist Shannons H in anderem Gewand. Genetische Information wird in Shannon-Bit gemessen; die Neurowissenschaft beschreibt mit der Entropie, wie viel Information neuronale Codes fassen können. Die Arbeit von 1948 gilt nach manchen Zählungen als die meistzitierte mathematische Veröffentlichung des zwanzigsten Jahrhunderts — und ihr begrifflicher Kern, dass Information eine präzise quantitative Bedeutung hat, gehört zu den Fundamenten, auf denen die digitale Zivilisation insgesamt ruht.

Zur VertiefungDie Standardreferenz ist Cover und Thomas, Elements of Information Theory (2. Aufl., 2006) — so gut geschrieben, dass man sie am Stück lesen kann. Wer zur Quelle will: Shannons Aufsatz von 1948, A Mathematical Theory of Communication, ist kurz, luzide und grundlegend. Die populäre Geschichte erzählt James Gleick in The Information (2011). Und MacKays Information Theory, Inference, and Learning Algorithms (2003), frei im Netz verfügbar, schlägt die Brücke zwischen den Disziplinen — bis hinein ins maschinelle Lernen.