Gesetz der großen Zahlen

Bearbeiten

Vorbemerkung

Bearbeiten

Gesetze der großen Zahlen haben die Konvergenz von   gegen 0 zum Inhalt, wenn   eine Folge von Zufallsvariablen ist und  .

Beispiel

Bearbeiten

Sind   unabhängige,  -verteilte Zufallsvariablen, so vermutet man eine Konvergenz von   ('relative Häufigkeit') gegen   ('Auftrittswahrscheinlichkeit'). Dabei müssen Konvergenzbegriffe der Stochastik eingeführt werden.

Definition

Bearbeiten

Wir sagen, dass eine Folge  ( ) von Zufallsvariablen (auf einem Wahrscheinlichkeitsraum  )
a) stochastisch gegen eine Zufallsvariable Y konvergiert, falls

 

gilt. Man schreibt dafür  .

b) mit existierendem Erwartungswert   das schwache Gesetz der großen Zahlen erfüllt, falls eine Folge

 

von Zufallsvariablen stochastsich gegen 0 konvergiert.

 

Schwaches Gesetz der großen Zahlen (Satz)

Bearbeiten

Sind   paarweise unkorrelierte Zufallsvariablen (auf dem Wahrscheinlichkeitsraum  ) mit   und mit  , ( ), so erfüllt diese Folge   das schwache Gesetz der großen Zahlen.

Für die Zufallsvariablen   gilt   und  , ( ) liefert die Tschebyscheff-Ungleichung

  ( )

Korollar

Bearbeiten

Sind   und   unabhängige Zufallsvariablen aus   mit gleichmäßig beschränkten Varianzen (d.h.    ), dann erfüllt dies Folge das schwache Gesetz der großen Zahlen.

Beispiel

Bearbeiten

Ist    -verteilt (  unabhängig  -verteilt), so gilt:

 

Umgangssprachlich: die relativen Häufigkeiten des Ereignisses '1' konvergieren stochastisch gegen  .

Bemerkung

Bearbeiten

Die stochstische Konvergenz stellt einen relativ schwachen Konvergenzbegriff dar. So braucht für kein   gewöhnliche Konvergenz  , ( ), stattzufinden, wie das folgende Beispiel zeigt.

Beispiel (1)

Bearbeiten

Sei  . Man definiere die Folge  , durch
 ,

wobei   und  , ( ).

Beispiel (2)

Bearbeiten

Es gilt

1.  , denn für   ist  .

2. Die Folge   konvergiert für kein  , wegen der Konvergenz der harmonischen Reihe.

Der Konvergenzberiff     ist für die Stochastik unbrauchbar. So ist für  ,    -verteilt:

  nicht konvergent für viele  .

Wir nehmen die Sprechweise wieder auf: Eine Aussage gilt '  fast überal' oder '  fast sicher' (synonym), wenn die Menge   aller   für die die Aussage richtig ist, die Wahrscheinlichkeit 1 hat:  .

Definition

Bearbeiten

a) Eine Folge   von Zufallsvariablen (auf einem Wahrscheinlichkeitsraum  ) konvergiert fast sicher gegen die Zufallsvariable  , falls

 

Man schreibt kürzer:   bzw.     fast sicher.

b) Man sagt, dass eine Folge  von Zufallsvariablen auf   mit existierenden Erwartungswerten   das starke Gesetz der großen Zahlen erfüllt, falls die Folge  ,  ,  -f.s. gegen 0 konvergiert:    -f.s.

Bemerkung

Bearbeiten

Aus    -f.s. folgt   (ohne Beweis). Das obige Beispiel zeigt, dass die Umkehrung nicht (vereinfachtes Beispiel siehe später) gilt. Das wichtigste Hilfsmittel zum Beweis eines starken Gesetzes der großen Zahlen ist das folgende Lemma von Borel-Cantelli, das auch sonst wichtig ist.

Lemma (von Borel-Cantelli)

Bearbeiten

Sei   ein Wahrscheinlichkeitsraum und   eine Folge von Ereignissen aus  . Sei   das Ereignis, dass unendlich viele der  's eintreten:

 

a) Gilt  , dann ist  .

b) Sind die   unabhängig und ist  , dann ist  .

Beweis (1)

Bearbeiten

a) Es ist   genau dann, wenn es   ein   gibt,  . D.h.

 

Da   für jedes   ist, gilt:

 

für  .

Beweis (2)

Bearbeiten

b) Wir benutzen die Ungleichung   und die Unabhängigkeit der  . Es gilt für alle   und  :

 

für  , wegen der Divergenz der Reihe. Also   für jedes  :

 

d.h.  .

Bemerkungen (1)

Bearbeiten

1. Teil b) rechtfertigt den populären Ausdruck: "Ein Ereignis, das (mit positiver Wahrscheinlichkeit) eintreten kann, tritt mit ( )- Sicherheit einmal ein (sogar beliebig oft), wenn nur genügend (unabhängige) Versuche durchgeführt werden".

2. Teil b) lässt sich als weiteres Beispiel einer Folge   angeben, die stochastisch konvergiert, aber nicht fast sicher. Seien   unabhängige  -verteilte Zufallsvariablen. Dann gilt  , denn für ein   ist  , ( ).

Bemerkungen (2)

Bearbeiten

3. Anderseits konvergiert die Folge für   fast alle   nicht! Denn wegen   folgt

 

und wegen   folgt

 

Starkes Gesetz der großen Zahlen (Satz)

Bearbeiten

Bilden   eine Folge paarweise unkorrelierter Zufallsvariablen auf einem Wahrscheinlichkeitsraum  , aus   mit beschränkter Varianz (d.h.   für alle  ), so erfüllt die Folge das starke Gesetz der großen Zahlen.

Beweis (1)

Bearbeiten

Definiere  ,  .

Wir zeigen zunächst, dass    -f.s.

Gemäß der Formel von Bienaymé ist

 

so dass Tschebyschoff für alle   und für die Menge   gilt:

 

sowie

 

Beweis (2)

Bearbeiten

Borel-Cantelli-Lemma Teil a) liefert für  , für   viele  :

 

Es folgt:

  bzw.
 

denn für   gilt   nur für endliche viele   (für alle  ), d.h. für   fast sicher (für alle  ) gilt:  , so dass

(*)  

Beweis (3)

Bearbeiten

Für beliebige   sei   diejenige natürliche Zahl, für welche   ist. Mit analogen Methoden wie in (1) zeigt man für die Menge

 

dass

 

Folglich gilt für   fast sicher:   mit

(**)   für alle  

Beweis (4)

Bearbeiten

Die beiden Gleichungen (*) und (**) liefern für   fast sicher:   mit

 

für alle  . Das heißt aber     fast sicher.

Bemerkung

Bearbeiten

Entsprechend der starken Aussage benötigt der Satz auch eine stärkere Voraussetzung als der Satz zum schwachen Gesetz der großen Zahlen.

Beispiel

Bearbeiten

Ist    -verteilt, so gilt     fast sicher. Hierdurch wird die Aussage des Beispiels zum schwachen Gesetz der großen Zahlen verbessert. Dieses Ergebnis bestätigt die Brauchbarkeit unseres wahrscheinlichkeitstheoretischen Konzeptes. Es präzisiert die Intuition, dass sich für große   annähert.

  beobachte relative Häufigkeit eines Ereignisses an   (axiomatisch eingeführte Wahrscheinlichkeit der Ereignisse).

Zentrale Grenzwertsätze

Bearbeiten

In diesem Abschnitt Verallgemeinerung (und Beweis) des Grenzwertsatzes von DeMoivre-Laplace auf Summen unabhängiger, identisch verteilter Zufallsvariablen (anstatt nur unabhängige Bernoullivariablen). Der Beweis zum zentralen Grenzwertsatz von Lindberg-Lexy (später) benutzt einen Stetigkeitssatz für charakteristische Funktionen und einen dritten Konvergenzbegriff ('Verteilungskonvergenz').

Definition

Bearbeiten

Seien   Zufallsvariablen aus  . Man sagt, dass diese Folge den zentralen Grenzwertsatz erfüllt, falls für die Standardisierten der Partialsummen   mit

  (  Standardisieren) gilt:
 

Dabei ist  , die Verteilungsfunktion der  -Verteilung. Es reicht,   zu zeigen.

Bemerkungen (1)

Bearbeiten

1. Die Gültigkeit des zentralen Grenzwertsatzes eröffnet die Möglichkeit, unter Umständen nicht (oder nur schwer) berechenbare Wahrscheinlichkeiten   durch die Werte der  -Verteilung zu approximieren.

2. Sind   unabhängig, mit identischen Erwartungswerten   und identischen Varianzen  , so wird aus der Standardisierten oben

 

Bemerkungen (2)

Bearbeiten

3. Um einen zentralen Grenzwertsatz zu beweisen, müssen wir zeigen:

 

wenn   die Verteilungsfunktion von   ist.

Diese Aussage stellt einen dritten Konvergenzbegriff dar (Verteilungskonvergenz).

Allgemein wird Folgendes definiert:

Verteilungskonvergenz (Definition)

Bearbeiten

Eine Folge   von Zufallsvariablen heißt Verteilungskonvergenz gegen die Zufallsvariable  , falls bei  

 

dabei bezeichnet   und   die Verteilungsfunktion von   und   und   die Menge alle Stetigkeitsstellen von  . Man schreibt kurz:

 

(oder auch  ), wobei   hier 'Distribution' bedeutet.

Bemerkungen (1)

Bearbeiten

1. Der Begriff der Verteilungskonvergenz verlangt nicht, das alle   auf demselben Wahrscheinlichkeitsraum definiert sind.

2. Für stetige Verteilungsfunktionen  , wie zum Beispiel   ist  . Die Forderung

 

erweist sich als zu restriktiv.

Bemerkungen (2)

Bearbeiten

So gilt im folgenden Beispiel diese Forderung nicht, sondern lediglich jene aus der Definition.   seien 'entartete' Zufallsvariablen mit  .

Für   und   gilt:

  und  

Bei   gilt:  

3. Der nächste Satz zeigt, dass aus stochastischer Konvergenz die Verteilungskonvergenz folgt. Zusammen mit der Konvergenz von Folgen von Zufallsvariablen folgt:     fast sicher  .

Sind  , und   Zufallsvariablen (auf einem Wahrscheinlichkeitsraum  ), mit  , so gilt  .

Sei   und   beliebig. Dann folgt aus der Alternative " " die Inklusion

 

und damit

 

Wegen   konvergiert der zweite Summand gegen 0, so dass

 

Analog:  .

Ist also  , so folgt mit  :

  d.i.  

Die Umkehrung ist nicht richtig!

Beispiele

Bearbeiten

Sei    -verteilt und   für alle  . Dann ist jedes   wieder  -verteilt und damit   (sogar  ).   konvergiert aber nicht stochastisch gegen  , denn für   ist

 

Der Stetigkeitssatz für diskrete Wahrschenlichkeitsverteilungen besagt, dass der Limes einer Folge von Wahrscheinlichkeitsfunktionen, d.h.

 

genau dann ist, wenn der Limes der zugehörenden erzeugenden Funktionen existiert. Zunächst stellen wir fest, das die Aussage eine Verteilungskonvergenz bedeutet.

Lemma von Schiffé

Bearbeiten

Sind  , und    -wertige Zufallsvariablen und setzt man   so gilt   genau dann, wenn

 

in allen  .

Bemerkung

Bearbeiten

Setzt man  , so hat man  .

In der allgemeinen Wahrscheinlichkeitstheorie wird der Stetigkeitssatz mit Hilfe der zugehörigen charakteristischen Funktionen   formuliert.

Stetigkeitssatz

Bearbeiten

Seien  , eine Folge von Zufallsvariablen und   die Folge der zugehörenden charakteristischen Funktionen.   ist verteilungskonvergent gegen eine Zufallsvariable   genau dann, wenn   gegen eine Funktion   konvergiert, die an der Stelle 0 stetig ist.   ist dann charakteristische Funktion von  .

Kurzfassung

Bearbeiten

 . Die Stetigkeit von   bei 0 garantiert erst, dass   wieder charakteristiche Funktion einer Zufallsvariablen ist.

Im folgenden Beispiel ist das nicht der Fall.

Beispiel (1)

Bearbeiten

  sei gleichverteilt auf  . Dann gilt

 

und

 

mit bei 0 unstetigen Grenzfunktionen.

Beipiel (2)

Bearbeiten

Für die Verteilungsfunktion   von   gilt:

 

was keine Verteilungsfunktion darstellt. Es gibt kein   mit  . Statt  ,    -verteilt, schreibt man auch 'gemischt':

 

Nun zeigen wir, dass die standardisierten Partialsummen   (nehmen jetzt die Rolle von   ein) verteilungskonvergent gegen die  -Verteilung sind.

Zentraler Grenzwertsatz von Lindberg-Lexy (Satz)

Bearbeiten

Gegebn sei eine Folge   von unabhängigen, identisch verteilten Zufallsvariablen aus   ( ). Dann gilt für die Folge

 

der standardisierten Partialsummen von  , die Verteilungskonvergenz

 .

Beweis (1)

Bearbeiten

Ist   die charakteristische Funktion von   (für alle   dieselbe), so lautet die charakteristische Funktion

 
 

Beweis (2)

Bearbeiten

Taylorentwicklung von   an der Stelle  :

 

mit   bei  .

Nach dem Satz zur Berechnung von Momenten ist

 

(*)  ,

so dass

 

Beweis (3)

Bearbeiten

Das   aus Teil (1) lautet mit Formel (*):

 

mit

  für  

Es folgt mit einem  -Argument

 

Die charakteristische Funktion der  -Verteilung ist so, dass der Stetigkeitssatz zusammen mit dem Eindeutigkeitssatz die Behauptung liefern.

Bemerkungen (1)

Bearbeiten

1. Im Spezialfall unabhängiger,  -verteilter   ist gemäß dem Beispiel zum Faltungssatz jede    -verteilt, so dass hier sogar Gleichheit   für jedes   gilt.

2. Im zentralen Grenzwertsatz kann die unabhängig-Voraussetzung nicht ersatzlos gestrichen werden. Als Gegenbeispiel wähle man identische  .

Bemerkungen (2)

Bearbeiten

3. Anwendungsbeispiel: Gewinnung von  -verteilten Zufallsvariablen aus  -verteilten Zufallsvariablen.

Sind   unabhängig und   gleichverteilt, so ist wegen  

 

approximiert  -verteilt ( ).
Für   ist   angenähert  -verteilt.

Siehe auch

Bearbeiten