Im Juli 1948 erschien im Bell System Technical Journal eine lange Arbeit mit dem Titel A Mathematical Theory of Communication von einem zweiunddreißigjährigen Ingenieur namens Claude Shannon. Die Arbeit war technisch, dicht und wurde sofort als eine der wichtigsten Veröffentlichungen der Wissenschaft des zwanzigsten Jahrhunderts erkannt. Shannon arbeitete an einer Frage, die niemand zu beantworten wusste, bis er sie präzise stellte: was ist Information, mathematisch betrachtet? Wie wenige Bits braucht es, um eine Nachricht zuverlässig über einen verrauschten Kanal zu schicken? Seine Antwort begründete die gesamte Informationstheorie, gab der Welt die moderne Definition des Bits und vereinigte — zur Überraschung aller, die an diesem Übergang arbeiteten — Information mit thermodynamischer Entropie.
Nimm eine diskrete Zufallsvariable X mit möglichen Werten x₁, x₂, …, xₙ und Wahrscheinlichkeiten p₁, p₂, …, pₙ. Shannon definierte die Entropie von X als H(X) = −Σ pᵢ · log₂ pᵢ. Die Zahl, in Bit gemessen, fängt die mittlere Ungewissheit in X ein — gleichwertig die mittlere Anzahl optimaler Ja/Nein-Fragen, mit der sich X bestimmen lässt. Die Eigenschaften entsprechen der Intuition: H ist null, wenn X feststeht (keine Ungewissheit); H wird durch die Gleichverteilung maximiert (größtmögliche Ungewissheit für ein gegebenes Alphabet); H ist additiv für unabhängige Variablen (die Ungewissheit eines Paares ist die Summe der Einzelungewissheiten). Shannons Quellencodierungssatz — das zentrale theoretische Resultat der Kompression — sagt, dass jeder verlustfreie Code für X im Mittel mindestens H(X) Bit pro Symbol benötigt, und Codes nahe der Schranke gibt es (Huffman-Codierung, arithmetische Codierung). Sein Kanalcodierungssatz für verrauschte Kanäle sagt, dass jeder Kanal eine maximale zuverlässige Übertragungsrate hat, die Kanalkapazität C, und dass es für jede Rate unterhalb von C Codes gibt (Blockcodes, später Turbo- und LDPC-Codes), die beliebig kleinen Fehler erreichen. Die Verschmelzung mit der Thermodynamik ist exakt: Boltzmanns S = k_B · ln W und Shannons H = −Σ p log p sind dieselbe Größe, sie unterscheiden sich nur in den Einheiten. Maxwells Dämon — das Gedankenexperiment des neunzehnten Jahrhunderts über ein Wesen, das den Zweiten Hauptsatz durch Sortieren der Moleküle aushebelt — wurde schließlich über Shannons Rahmen aufgelöst: die Informationsverarbeitung des Dämons hat einen entropischen Preis, der die erreichte Entropieabnahme genau ausgleicht. Landauers Prinzip (1961) machte es konkret: das Löschen eines einzigen Informationsbits kostet mindestens k_B·T·ln 2 an Energie, eine thermodynamische Untergrenze des Rechnens, an die heutige Chipentwickler langsam stoßen.
Jeder Kompressionsalgorithmus — gzip, JPEG, MP3, H.265, die LLM-Tokenisierung, auf der jede moderne KI läuft — ist daraufhin entworfen, Shannons Quellencodierungs-Schranke anzunähern. Jedes Kommunikationssystem — WLAN, 5G, GPS, Tiefraumsonden, Glasfaser — entsteht gegen Shannons Kanalkapazitäts-Schranke, und moderne Codes (LDPC, Polar-Codes) erreichen sie auf Bruchteile eines Dezibels genau. Der Kreuzentropie-Verlust ist die Standard-Zielfunktion beim Training von Klassifikatoren und Sprachmodellen — Shannons H in neuem Anzug. Genetische Information misst man in Shannon-Bit. Die Neurowissenschaft nutzt die Entropie zur Charakterisierung der Informationskapazität neuronaler Codes. Die Arbeit von 1948 zählt nach manchen Maßstäben zu den meistzitierten mathematischen Arbeiten des zwanzigsten Jahrhunderts, und der begriffliche Schritt — dass Information eine präzise quantitative Bedeutung hat — gehört zu den Fundamenten, auf denen die gesamte digitale Zivilisation ruht.