Shannon-Entropie: Wie Informationsgehalt mathematisch erfasst wird

Was ist Shannon-Entropie und warum ist sie zentral für das Verständnis von Informationsgehalt?

Shannon-Entropie ist ein fundamentales Konzept, das die Unsicherheit oder den Informationsgehalt eines Systems quantifiziert. Entwickelt von Claude Shannon im Jahr 1948, bildet sie die mathematische Grundlage für die moderne Informations- und Kommunikationstheorie. Sie misst, wie viel „Überraschung“ oder „Neuigkeit“ in einem Ereignis oder Zustand steckt – je unwahrscheinlicher ein Ereignis, desto höher sein Informationsgehalt. Die zentrale Formel lautet:
$$ H(X) = -\sum p(x) \log p(x) $$
Dabei ist $ p(x) $ die Wahrscheinlichkeit des diskreten Ereignisses $ x $. Diese einfache, aber mächtige Gleichung verbindet Wahrscheinlichkeitstheorie mit Physik und Information – und macht sie unverzichtbar für Quantensysteme, Datenkompression und künstliche Intelligenz.

Grundlagen der Informationsentropie am Beispiel quantenmechanischer Systeme

Im Bohrschen Modell der Atome sind Elektronen nicht kontinuierlich, sondern auf diskrete Bahnen beschränkt. Jeder Bahnbereich stellt einen quantisierten Zustand dar – eine mögliche Konfiguration des Elektrons. Der Radius der ersten Elektronenbahn beträgt etwa $ r = 5{,}29 \times 10^{-11} $ Meter. Diese Dimension bildet die Basis des Zustandsraums, aus dem sich die Wahrscheinlichkeiten für Messergebnisse ableiten lassen.
Diskrete Zustandsräume sind entscheidend, weil sie die Grundlage für die probabilistische Entropieberechnung liefern: Nur endlich oder abzählbar viele Zustände erlauben eine sinnvolle Wahrscheinlichkeitsverteilung $ p(x) $, die Shannon-Entropie ist nur für solche Systeme sinnvoll definiert.

Matrixentropie: Der Rang als Maß für Informationsdimension

Die Matrixentropie nutzt den Rang einer Matrix, um die Informationsdimension eines Systems zu quantifizieren. Der Rang $ \text{Rang}(A) $ einer $ m \times n $-Matrix ist maximal $ \min(m, n) $ und gibt die Dimension des Spaltenraums an – also die Anzahl unabhängiger Richtungen im Zustandsraum.
Im Kontext quantenmechanischer Zustandsmatrizen (z. B. Dichtematrizen) spiegelt der Rang die Anzahl effektiver, messbarer Zustände wider. Diese Anzahl unabhängiger Informationsquellen korrespondiert direkt mit der Entropie: Je höher der Rang, desto größer die Informationskomplexität und damit die Entropie.

Happy Bamboo als praxisnahes Beispiel für Informationsgehalt

Das Bambusmodell „Happy Bamboo“ veranschaulicht eindrucksvoll, wie diskrete Zustände Informationsdichte und -verlust beschreiben. Jede einzelne Bahnbewegung ist ein klarer Informationszustand – ähnlich einem quantisierten Zustand in der Quantenphysik.
Die Gesamtheit aller Bahnen bildet einen diskreten Zustandsraum, dessen Rang die Anzahl unabhängiger Informationsquellen bestimmt. Beim Messen – etwa durch Beobachtung – kollabiert der Zustand in einen bestimmten Zustand, was Entropie reduziert und Unsicherheit verringert.
Diese Reduktion spiegelt den physikalischen Prozess der Messung wider: Je weniger Zustände zugänglich sind, desto niedriger die Entropie – ein anschauliches Parallell zur Quantenmessung, bei der Kollaps und Informationsgewinn eng verknüpft sind.

Nicht-obvious: Entropie, Unsicherheit und Informationsverlust in physikalischen Prozessen

Bei Quantenmessungen führt die Beobachtung zum Kollaps der Wellenfunktion – ein Vorgang, der die Entropie eines Systems erhöht, da zuvor Überlagerungen in eindeutige Zustände übergehen. Shannon-Entropie und physikalische Entropie teilen das Konzept der Informationsunsicherheit, unterscheiden sich aber in der Interpretation: Shannon fokussiert auf Informationsgehalt, physikalische Entropie auf thermodynamische Zustände.
Im Happy Bamboo-Modell wird diese Dynamik greifbar: Die sichtbare Struktur verbirgt eine Vielzahl unsichtbarer, diskreter Zustände – analog zur Quantenüberlagerung, bei der viele Möglichkeiten gleichzeitig existieren, bis gemessen wird. Die Entropie beschreibt hier die „verborgene“ Informationsvielfalt, die durch Beobachtung enthüllt wird.

Zusammenfassung: Shannon-Entropie als Brücke zwischen Physik, Mathematik und Information

Shannon-Entropie verbindet fundamentale physikalische Konzepte – wie diskrete Zustände im Bohrschen Modell – mit mathematischer Präzision und informativer Aussagekraft. Die Matrixentropie erweitert dieses Prinzip auf komplexe, quantenmechanische Systeme durch den Rang von Matrizen, der Informationsdimension abbildet.
Das Happy Bamboo-Modell illustriert anschaulich, wie diskrete Zustände Informationsgehalt bilden und wie Beobachtung oder Messung Unsicherheit und Entropie verändert. Es zeigt, dass Informationskonzepte nicht nur abstrakt sind, sondern sich in natürlichen und technischen Systemen direkt widerspiegeln.

Falls Sie mehr erfahren möchten: hier zu den Happy Bamboo Regeln

Hier zu den Happy Bamboo Regeln

Shannon-Entropie verbindet Physik, Mathematik und Information – und das Bambusmodell zeigt, wie natürliche Systeme diese Prinzipien lebendig machen.