Kurs:Lineare Algebra (Osnabrück 2017-2018)/Teil II/Vorlesung 54



Stochastische Matrizen

Definition  

Eine reelle quadratische Matrix

heißt spaltenstochastisch, wenn alle Einträge

sind und für jede Spaltensumme (also jedes )

gilt.

Die zugrunde liegende Interpretation für eine spaltenstochastische Matrix ist folgendermaßen: Man hat eine Menge von möglichen Plätzen, Positionen, Netzwerkknoten, Internetseiten oder ähnliches, in denen man sich mit einer gewissen Wahrscheinlichkeit (einer Verteilung, einer Gewichtung) aufhalten kann. Eine solche Verteilung wird durch ein -Tupel mit reellen nichtnegativen Zahlen mit beschrieben. Man spricht von einem Verteilungsvektor. Eine spaltenstochastische Matrix beschreibt die Übergangswahrscheinlichkeiten des gegebenen Netzwerks in einem bestimmten Zeitabschnitt. Der Eintrag ist die Wahrscheinlichkeit, dass ein im Knoten befindliches Objekt (ein Besucher der Netzseite ) zur Position hinüberwechselt (sich zur Netzseite weiterklickt). Der -te Standardvektor entspricht der Verteilung, in der alles im -ten Knotenpunkt konzentriert ist. Die -te Spalte der Matrix beschreibt das Bild dieses Standardvektors unter der Matrix. Generell wird zu einer Verteilung durch Anwenden der Matrix die Bildverteilung ausgerechnet, siehe Aufgabe 54.1. Naheliegende Fragen sind, ob es Verteilungen gibt, die stationär sind (Stationäre Verteilung oder Fixverteilung oder Eigenverteilung), also in sich selbst überführt werden, ob es periodische Verteilungen gibt, ob es bei „unendlich vielen“ Iterationen der Matrix Grenzverteilungen gibt, und wie man diese ausrechnen kann.


Beispiel  

Eine spaltenstochastische - Matrix hat die Form

mit

Das charakteristische Polynom ist

Eigenwerte sind also und . Eine stationäre Verteilung ist (der Fall und ist für die folgende Rechnung auszuschließen) durch gegeben, es ist ja



Beispiel  

Die spaltenstochastische - Matrix

führt die Verteilung in die Verteilung über. Die Verteilung wird in sich selbst überführt, ist also eine stationäre Verteilung. Die Verteilung wird in überführt und umgekehrt, es handelt sich also um periodische Verteilungen der Periodenlänge .



Beispiel  

Die spaltenstochastische - Matrix

führt die Verteilung in die Verteilung

über. Der erste Standardvektor ist ein Eigenvektor zum Eigenwert , die weiteren Standardvektoren werden, wie jeder Verteilungsvektor, in den ersten Standardvektor überführt. Der Kern wird von den Vektoren , , erzeugt und enthält keine Verteilungsvektoren.




Beispiel  

Es sei ein Netzwerk (oder ein „gerichteter Graph“), bestehend aus einer Menge aus Knotenpunkten und einer Menge an gerichteten Verbindungen, die zwischen Knotenpunkten bestehen können. Beispielsweise ist die Menge aller Seiten im Internet und von der Seite besteht ein Verbindungspfeil nach , falls es auf der Internetseite einen Link auf die Seite gibt. Die Verlinkungsstruktur kann man durch die Adjazenzmatrix

ausdrücken, wobei

festgelegt ist (in der -ten Spalte sind die von ausgehenden Links ablesbar), oder aber durch die spaltenstochastische Matrix

wobei

und die Anzahl der Links angibt, die vom -ten Knoten überhaupt ausgehen. Diese Division sichert, dass die Spaltensummennorm gleich wird (es sei vorausgesetzt, dass von jedem Knoten mindestens ein Link ausgeht).




Die Adjazenzmatrix und die spaltenstochastisch gemachte Adjazenzmatrix zum Graphen rechts (wobei wir durchgängig Selbstlinks hinzunehmen) sind



Potenzen von stochastischen Matrizen

Wir untersuchen nun die Potenzen von stochastischen Matrizen mit Hilfe der Summennorm und den Ergebnissen der letzten Vorlesung.


Korollar  

Beweis  

Für einen beliebigen Vektor ist Wegen

Iterative Anwendung dieser Beobachtung zeigt, dass Satz 53.10  (2) erfüllt ist.



Lemma  

Es sei

eine reelle quadratische Matrix mit nichtnegativen Einträgen.

Dann ist genau dann spaltenstochastisch, wenn für Vektoren mit nichtnegativen Einträgen isometrisch bezüglich der Summennorm ist, wenn also

für alle gilt.

Beweis  

Es sei eine spaltenstochastische Matrix und

ein Vektor mit nichtnegativen Einträgen. Dann ist

Wenn umgekehrt die angegebene isometrische Eigenschaft gilt, so gilt insbesondere für die Bilder der Standardvektoren, dass ihre Summennorm gleich sein muss. Diese Bilder stehen in der entsprechenden Spalte der Matrix, alle Spaltensummen haben also den Wert .



Lemma  

Es sei eine spaltenstochastische Matrix. Dann gelten folgende Aussagen.

  1. Es gibt Eigenvektoren zum Eigenwert .
  2. Wenn es eine Zeile gibt, in der alle Einträge positiv sind, so gilt für jeden Vektor , der sowohl positive als auch negative Einträge besitzt, die Abschätzung
  3. Wenn es eine Zeile gibt, in der alle Einträge positiv sind, so ist der Eigenraum zum Eigenwert eindimensional. Es gibt dann einen Eigenvektor, der nur nichtnegative Einträge hat und insbesondere eine eindeutig bestimmte stationäre Verteilung.

Beweis  

(1). Die transponierte Matrix ist zeilenstochastisch und besitzt daher den Eigenvektor zum Eigenwert . Daher besitzt nach Satz 23.2 das charakteristische Polynom der transponierten Matrix eine Nullstelle an der Stelle und dies gilt nach Aufgabe 23.19 dann auch für die ursprüngliche Matrix. Daher besitzt einen Eigenvektor zum Eigenwert .

(2). Es seien nun zusätzlich alle Einträge der -ten Zeile positiv und sei ein Vektor mit (mindestens) einem positiven und einem negativen Eintrag. Dann ist

(3). Wie im Beweis zu (2) seien alle Einträge der -ten Zeile positiv. Für einen jeden Eigenvektor zum Eigenwert sind nach (2) entweder alle Einträge nichtnegativ oder nichtpositiv. Somit ist für einen solchen Vektor wegen der -te Eintrag ungleich . Es seien solche Eigenvektoren. Dann gehört auch zum Fixraum. Allerdings ist die -te Komponente davon gleich und daher ist es der Nullvektor. Das bedeutet, dass und linear abhängig sind. Somit ist dieser Eigenraum eindimensional. Wegen (2) gibt es einen Eigenvektor zum Eigenwert mit nichtnegativen Einträgen. Durch Normieren sieht man, dass es auch eine stationäre Verteilung gibt.



Beispiel  

Wir betrachten die spaltenstochastische - Matrix

bei der alle Einträge der ersten Zeile positiv sind. Nach Lemma 54.8 gibt es eine eindeutige Eigenverteilung. Um diese zu bestimmen, berechnet man den Kern von

Dieser wird von erzeugt und die stationäre Verteilung ist



Beispiel  

Für die spaltenstochastische - Matrix

ist der Eigenraum zum Eigenwert gleich , also zweidimensional. Die Aussage Lemma 54.8 gilt also nicht, wenn es eine Spalte (aber keine Zeile) mit ausschließlich positiven Einträgen gibt.




Satz  

Es sei eine spaltenstochastische Matrix mit der Eigenschaft, dass es eine Zeile gibt, in der alle Einträge positiv sind.

Dann konvergiert zu jedem Verteilungsvektor mit die Folge gegen die eindeutig bestimmte stationäre Verteilung von .

Beweis  

Es sei die nach Lemma 54.8  (3) eindeutig bestimmte stationäre Verteilung und

Dies ist ein Untervektorraum von der Dimension . Nach Lemma 54.8  (2) hat ausschließlich nichtnegative Einträge und gehört damit nicht zu . Wegen

ist invariant unter der Matrix . Somit ist

eine direkte Summenzerlegung in invariante Untervektorräume. Für jedes mit ist

nach Lemma 54.8  (2). Da die Sphäre zum Radius bezüglich jeder Norm kompakt ist, ist die induzierte Maximumsnorm von kleiner als . Nach Lemma 53.8 und Satz 53.6 konvergiert daher die Folge für jedes gegen den Nullvektor.

Es sei nun ein Verteilungsvektor, den wir wegen

als

mit schreiben können. Wegen

und der Vorüberlegung konvergiert diese Folge gegen .


Bemerkung  

In der Situation von Lemma 54.8 kann man die Eigenverteilung dadurch finden, dass man ein lineares Gleichungssystem löst. Wenn es sich um eine sehr große Matrix (man denke an Knoten) handelt, ist eine solche Rechnung sehr aufwändig. Häufig muss man die Eigenverteilung aber gar nicht genau kennen, sondern es reicht eine gute Approximation aus. Dann kann man zu einer beliebigen Startverteilung endlich viele Iterationen ausrechnen und weiß aufgrund von Satz 54.11, dass dieses Verfahren die Eigenverteilung beliebig gut approximiert. Eine Suchmaschine im Internet erstellt beispielsweise zu einem Suchbegriff eine Reihenfolge von Seiten, die diesen Begriff enthalten. Wie kommt diese Reihenfolge zustande? Die wahre Antwort ist, zumindest für die ersten Einträge, dass dies davon abhängt, wer am meisten dafür zahlt. Ansonsten ist ein natürlicher Ansatz, der auch Grundlage des Page ranks ist, die numerische Ordnung in der Eigenverteilung als ausschlaggebend anzusehen. Der oberste Eintrag ist derjenige, bei dem die meisten Leute „schließlich“ landen, wenn sie mit gleicher Wahrscheinlichkeit den möglichen Links folgen. Diese Wanderungsbewegung wird eben durch die stochastische Matrix, die man im Sinne von Beispiel 54.5 erhält, modelliert.[1]


Den numerischen Unterschied zwischen dem exakten Lösen eines linearen Gleichungssystems zur Bestimmung eines Eigenvektors und der Potenzmethode kann man folgendermaßen erfassen. Sei eine -Matrix gegeben. Das Gaussche Eliminationsverfahren braucht, um die erste Variable in Gleichungen zu eliminieren, Multiplikationen (Additionen sind vom Rechenaufwand her einfacher und werden hier nicht berücksichtigt), die Größenordung der Multiplikationen der Gesamtelimination ist somit

Dagegen sind für die Auswertung der Matrix auf einen Vektor Multiplikationen nötig. Wenn man Iterationen berechnen möchte, braucht man also Operationen. Wenn also deutlich kleiner als gewählt werden kann, so ist der Gesamtrechenaufwand deutlich kleiner.



Fußnoten
  1. Unter Modellierung versteht man in der (insbesondere angewandten) Mathematik den Vorgang, realweltliche Phänomene mathematisch zu erfassen, zu verstehen und zu beeinflussen. Mathematisch modelliert werden physikalische Prozesse, Wetterphänomene, Finanzaktionen, etc.


<< | Kurs:Lineare Algebra (Osnabrück 2017-2018)/Teil II | >>

PDF-Version dieser Vorlesung

Arbeitsblatt zur Vorlesung (PDF)