Allgemeine Wahrscheinlichkeitstheorie

Wahrscheinlichkeitsräume (1) Bearbeiten

Bisher beschränkten wir uns auf ein abzählbares   (Vermeidung technischer Schwierigkeiten). Es gibt jedoch Zufallsexperimente, für welche ein überabzählbares   angemessen ist.

1. Messung einer physikalischen Größe mit einer großen Genauigkeit. ( )

2. Exakter Zeitpunkt des Eintretens eines Erdbebenstoßes oder eines Telefonanrufs. ( )

3. Idealisiertes "stetiges" Roulette. ( ) - Winkel statt diskrete Anzahl an Kreissektoren

4. Pseudo-Zufallszahlen. ( )

Wahrscheinlichkeitsräume (2) Bearbeiten

In Beispiel 4. verlangen wir intuitiv von einer Wahrscheinlichkeitsverteilung   auf  :  , insbesondere

(*)  .

Das mathematische Problem besteht nun darin, dass es keine Abbildung   gibt, die normiert und  -additiv ist und (*) erfüllt (Maßproblem).

Ausweg aus diesem Dilemma - Maßproblem Bearbeiten

Statt auf ganz   das Maß zu definieren, schränkt man   auf einem Teilsystem der Potenzmenge von  , die dann nur bestimmte Teilmengen   enthält. Das Teilsystem  .   soll dann aber so beschaffen sein, dass die üblichen Mengenoperationen   nicht aus   herausführen.

Begründung für die Eigenschaften Bearbeiten

Wenn man das Maß von Teilmengen   aus der Potenzmenge von   kennt, möchte man auch von Vereinigungen, Schnitten und Komplemente der Mengen die Maß angeben können. Damit dies überhaupt machtbar ist, müssen diese Mengenoperationen wieder Elemente aus dem Definitionsbereich des Maßes liefern. Aus diesen Anforderungen ergibt sich die Definition der  -Algebra.

σ-Algebra (Definition) Bearbeiten

Ist   eine beliebige, nichtleere Menge, so heißt ein Mengensystem   eine  -Algebra über  , wenn gilt

a)  

b)  

c)  

Bemerkung Bearbeiten

1. Es ist  

2.  

3. In c) bzw 2. können wir auch   bzw.   einsetzen. Setze   bzw.  .

4.   ist eine  -Algebra ('größte'),   ist eine  -Algebra ('kleinste').

5. Ist   ein vorgegebenes Mengensystem, so existiert unter den  -Algebraen, die   umfassen, eine kleinste  -Algebra (!). Wir nennen sie die von   erzeugte  -Algebra  .  heißt dann Erzeugendensystem von  .

6. Ein Paar  ,    -Algebra über  , heißt messbarer Raum.

Definition - Wahrscheinlichkeitsraum Bearbeiten

Ein Triplet   heißt (allgemeiner) Wahrscheinlichkeitsraum, falls

a)   nichtleere Menge

b)    -Algebra über  

c)   mit

(i)  
(ii)   für paarweise disjunkte  

Bemerkung Bearbeiten

1.   heißt Wahrscheinlichkeitsverteilung auf  . Auch die übrigen Bezeichnungen vom Beginn der Vorlesung sind weiterhin gültig, wenn man   durch die  -Algebra   ersetzt (  statt   (oder  )).

2. Der diskrete Wahrscheinlichkeitsraum ergibt sich als Spezialfall der Definition:   abzählbar,  .

Borelsche σ-Algebra Bearbeiten

Konstruktion der Borelschen  -Algebra über  . Das Mengensystem   bestehe aus allen k-dimensionalen Intervallen. Für   (d.h.   und   sind zugelassen) mit   (d.h.   für  ) definiert man das k-dimensionale Intervall  , für  .
Man führt das Mengensystem   ein (beachte  ).
Sei   die kleinste  -Algebra, die alle  -dimensionalen Intervalle auf   enthält.   heißt  -Algebra der Borelschen Mengen oder kurz Borelsche  -Algebra.

Satz Bearbeiten

Satz aus der Topologie/Maßtheorie:

a) Die  -Algebra   der Borelschen Mengen enthält alle offenen und alle abgeschlossenen Mengen des  .

b) Es gibt nicht-Borelsche Mengen des  .

c)   wir auch erzeugt von jedem der drei folgenden Mengensystemen:

  • das System der offenen Intervalle   des  .
  • das System der abgeschlossenen Intervalle   des  .
  • das System der links abgeschlossenen und rechts offenen Mengen   des  .

Zur Festlegung einer Wahrscheinlichkeitsverteilung   auf   braucht man nicht alle   auf allen Intervallen. Es gilt nämlich folgender Satz.

Fortsetzungssatz von Caratheodory Bearbeiten

Sei   eine Abbildung, so dass gilt:

i)  

ii)   für paarweise disjunkte   mit  

Dann existiert genau eine Wahrscheinlichkeitsverteilung   auf  , so dass   (d.h.   für alle  ). (  heißt Fortsetzung von   auf ganz  .)

Bemerkung Bearbeiten

Öfter ist nun eine Teilmenge von   als Ergebnisraum   von Interesse (z.B.:   ). Dann werden alls Größen auf   eingeschränkt:   statt  ;   statt  ('Borelsche Mengen in  ');   statt   ('Restriktion von   auf  ').   bilden einen Wahrscheinlichkeitsraum.

Idealisiertes Roulette (Beispiel) Bearbeiten

 .

Durch   wird auf   eine Abbildung in   definiert, welche die Eigenschaften i) und ii) des Fortsetzungssatzes erfüllt.

  legt eine Wahrscheinlichkeitsverteilung   auf   fest ('Gleichverteilung auf  ').

Beispiel Bearbeiten

Zeitpunkt des Auftretens eines Ereignisses  ; durch   (  fest) wird eine Wahrscheinlichkeitsverteilung   auf   festgelegt ('Exponentialverteilung mit Paramter   ').

Bemerkung Bearbeiten

Zukünftig schreiben wir statt   ebenfalls  .

Unabhängigkeit Bearbeiten

Die Unabhängigkeit von Ereignissen   in einem Wahrscheinlichkeitsraum   definiert man wie bereits geschehen durch die Eigenschaft:   für alle  . Sind   Wahrscheinlichkeitsverteilungene auf  , so heißt die Wahrscheinlichkeitsverteilung   auf   Produkt der  , kurz  , falls   für alle  .

Bemerkung Bearbeiten

Der Begriff des Produktes von (allgemeinen) Wahrscheinlichkeitsräumen  ,   verlangt den Begriff der Produkt- -Algebra  . Wir beschränken uns auf den Spezialfall  , für den wir diesen Begriff nicht benötigen.

(Elementare) bedingte Wahrscheinlichkeit Bearbeiten

Der Begriff  , falls  , der (elementaren) bedingten Wahrscheinlichkeit, und die Formel von der totalen Wahrscheinlichkeit, Bayessche Formel, Produkt gelten auf die Wahrscheinlichkeitsräume  , falls alle auftretenden Ereignisse   aus   genommen werden. Der allgemeine Begriff der bedingten Wahrscheinlichkeitsverteilung und des bedingten Erwartungswertes werden hier nicht gebraucht.

Verteilungsfunktion, Dichte Bearbeiten

Zunächst Beschränkung auf den Wahrscheinlichkeitsraum  . Zur Festlegung von Wahrscheinlichkeitsverteilungen auf   (bzw. auf  ) reicht es aus, wegen   und  , alleine die Funktion   zu betrachten.

(kumulative) Verteilungsfunktion (Definition) Bearbeiten

Sei   eine Wahrscheinlichkeitsverteilung auf  . Dann heißt die Funktion  , (kumulative) Verteilungsfunktion von  .

(Im Folgenden sei   , (falls existiert).)

Satz Bearbeiten

Sei  , Verteilungsfunktion von  . Dann gilt:

i)   ist (nicht notwendig streng) monoton wachsend,  .

ii)   ("rechtsseitig stetig")

iii)  

iv)  

Beweis (1) Bearbeiten

i) Monotonieeigenschaft von  .

ii) Sei  . Zerlege  . Dann ist

 
 

da die Reihe   konvergiert.

Beweis (2) Bearbeiten

iii) Sei  . Zerlege  . Dann ist

 
 
 
 

iv) Analog zu ii) und iii).

Bemerkung Bearbeiten

Die Limiten in ii), iii), iv) existieren wegen i).

Notation Bearbeiten

Im Folgenden bezeichne   für   eines der Intervalle  . Wobei im Fall   nur   und im Fall   nur   zugelassen wird.

Formeln für P⟨a,b⟩ </math> Bearbeiten

Sei   Verteilungsfunktion von  .

  •  , inbesondere  .
  •  , inbesondere  .
  •  .
  •  .

Bemerkungen Bearbeiten

1. Falls   bei   stetig und   auf dem Intervall   konstant ist, so ist  .

2. Zusammen mit dem Fortsetzungssatz folgt, dass   durch Vorgabe einer Verteilungsfunktion (d.i. eine Funktion  , mit den Eigenschaften i), ii), iv)) eindeutig festgelegt wird, wenn man setzt  .

Im Fall der Exponentialverteilung aus dem Beispiel 1.5.3, bei der   ist, stellt man fest, dass   bzw.  , mit  .

Wahrscheinlichkeitsdichte (Definition) Bearbeiten

Sei  , Verteilungsfunktion von  . Existiert dann eine messbare Funktion   mit   für alle  , so heißt  , Wahrscheinlichkeitsdichte oder kurz Dichte von  .

Bemerkung Bearbeiten

1. Das Integral   lässt sich als uneigentliches Riemann-Integral oder als Lebesgue-Integral auffassen. Der Begriff 'messbar' wird später erläutert.

2. Ist die stetige Verteilungsfunktion   auf   (  leer oder endlich) stetig differenzierbar, so besitzt   die Dichte  , (  auf   beliebig festgelegt).

3. Besitzt   eine Dichte, so ist   stetig (d.h.  ) und die Formeln für   liefert für alle vier Intervalltypen die Formel  .

Satz Bearbeiten

Besitzt eine Wahrscheinlichkeitsverteilung   auf   eine Dichte  , so gilt:

 

Insbesondere gilt:

 

Beweis Bearbeiten

Folgt direkt aus Bemerkung 3.

Bemerkung Bearbeiten

1. Wir können also eine Dichte   durch die Eigenschaft  ,   integrierbar mit   festlegen.

2. Durch Vorgabe einer Dichte   ist eine Wahrscheinlichkeitsverteilung   auf   eindeutig festgelegt.

3. Der Begriff der Dichte spielt im Fall   die gleiche Rolle wie der Begriff der Wahrscheinlichkeitsfunktion im Falle eines abzählbaren   (nur: eine Dichte braucht nicht notwendigerweise zu existieren!).

Gleichverteilung (Beispiel) Bearbeiten

Gleichverteilung auf dem Intervall  .

Dichte:

 

Verteilungsfunktion:

 

Exponentialverteilung (Beispiel) Bearbeiten

Exponentialverteilung mit dem Parameter  :

Dichte:

 

Verteilungsfunktion:

 

Verwendung:

Wartezeit (bis zum Eintreten eines Ereignisses).

Diskrete Verteilung (Beispiel) Bearbeiten

Diskrete Verteilung auf   (oder   ) mit vorgegebener Wahrscheinlichkeitsfunktion  . Setze für  

 

  bildet ein Wahrscheinlichkeitsmaß auf  , mit der Verteilungsfunktion:

 

Es existiert jedoch keine Dichte!

Normalverteilung (Beispiel) Bearbeiten

Normalverteilung mit Parametern   und  :

Dichte:

 

Verteilungsfunktion:

 

Abkürzung:  

Verwendung: Symmetrisch um einen 'wahren' Wert   streuende Messgröße.

Spezialfall:   'Standard-Normalverteilung', man schreibt  .

Umrechnung (1) Bearbeiten

  (Substitutionsregel)

Aus dieser Beziehung folgt:

 

so dass   eine Dichte ist.

Umrechnung (2) Bearbeiten

Das Konzept der Dichte lässt sich auch im Fall   verwirklichen. Eine Dichte im   ist eine nicht negative (aber messbare) Funktion   mit (Integrierbarkeit vorausgesetzt):

 

Für ein   definiert man

 

Wir benötigen den folgenden Satz der Integrationstheorie.

Satz Bearbeiten

Ist   eine integrierbare Funktion auf dem  , so wird durch   eine  -additive Abbildung von   in   definiert. D.h. für paarweise disjunkte   gilt:

 

Beweis Bearbeiten

Über den Satz der monotonen Konvergenz.

Satz Bearbeiten

Sei   eine Dichte und   ein  -dimensionales Intervall  .

a) Setzt man

(*) 

so wird eine Wahrscheinlichkeitsverteilung   auf   eindeutig festgelegt. (Anstelle von   lässt sich auch jeder andere Intervalltyp   einsetzen.)

b) Für die Wahrscheinlichkeitsverteilung   aus a) gilt, allgemeiner als (*):

 

Beweis Bearbeiten

a) Durch (*) wird eine Abbildung   definiert, die wegen   normiert ist und aufgrund des vorangegangenen Satzes  -additiv auf   ist. Nach dem Fortsetzungssatz hat sie eine eindeutige Fortsetzung auf  .

b) Folgt dann aus dem vorangegangenen Satz und der Eindeutigkeitsaussage von a).

Beispiel Bearbeiten

 -dimensionale Normalenverteilung mit Paramter   und   (symmetrische  -Matrix, positiv definit), kurz  -Verteilung.

Dichte:

  mit  

Abkürzung:

 

Spezialfall Bearbeiten

  ( -dimensionale Standard-Normalenverteilung).

Im Fall   und   ( -dimensionale Einheitsmatrix) reduziert sich die Gleichung der Dichte aus dem obigen Beispiel auf

  mit  .

  hat die Normierungseigenschaft.

Zufallsvariablen, Zufallsvekoren Bearbeiten

Zu Beginn der Vorlesung hatten wir jede Abbildung:   als Zufallsgröße bezeichnet:  . Jetzt müssen wir sicherstellen, dass die Urbilder   auch Element von   sind.

Zufallsgröße (Definition) Bearbeiten

a) Sind   messbare Räume, so heißt eine Abbildung   Zufallsgröße (auf  , mit Werten in   ), falls

 

b) Ist   Zufallsgröße und   eine Wahrscheinlichkeitsverteilung auf  , so heißt   mit

 

Verteilung von  .

Bemerkung Bearbeiten

1. Man zeige genau wie zu Beginn der Vorlesung, dass   eine Wahrscheinlichkeitsverteilung auf   ist.

2. In der Maßtheorie nennt man eine Abbildung   mit der Eigenschaft a) messbar bezüglich  . (Eine messbare Funktion   ist also messbar bezüglich  .)

3. Im Fall   spricht man von einem  -dimensionalen Zufallsvektor, im Fall   von einer Zufallsvariablen.

4. Es gibt nichtmessbare Funktionen  . Ist nämlich   nicht borelsch, so ist   nicht messbar.

Satz Bearbeiten

Seien   messbare Räume,   sei Erzeugendensystem von   (d.h.  ). Die Abbildung   ist genau dann Zufallsgröße, wenn

 .

Beweis Bearbeiten

Aus 1) folgt 3) (trivial). Sei nun 3) erfüllt. Setze

 ,

man zeigt, dass   eine  -Algebra ist. Aus   folgt

 

Korollar Bearbeiten

Sei   ein messbarer Raum,   ist Zufallsvariable genau dann, wenn

 

(äquivalent:   statt  )
Insbesondere ist jede stetige (stückweise stetige) Abbildung   Zufallsvariable auf  .

Beweis Bearbeiten

Setze  . Man zeigt, dass  , so dass der vorangegangene Satz anwendbar ist. Für ein stetiges   ist   offene Menge, ist in  , also aus  .

Satz Bearbeiten

Sei   eine Abbildung:  , und   messbarer Raum. Dann ist   ein Zufallsvektor genau dann, wenn jedes   eine Zufallsvariable ist ( ).

Beweis Bearbeiten

Es gilt:

 

mit   an der  -ten Stelle, woraus die Behauptung folgt.

Satz Bearbeiten

Sind   messbare Räume und   Zufallsgrößen, so ist auch   eine Zufallsgröße (Beweis klar).

Sprechweise Bearbeiten

Die eingeführte Notaion "  ist eine Verteilungsfunktion von  " und "  ist Dichte von  " wird durch die Verteilung   von   angewandt:

Man sagt dann "  ist Verteilungsfunktion von  "(d.h.   für eine Zufallsvariable von  ) und   ist Dichte von   (aber   hat Dichte  ).

Beispiel Bearbeiten

Ist die Zufallsvariable   eine Wartezeit und   eine Exponentialverteilung (mit  ), so hat   die

Verteilungsfunktion:

 

bzw. die Dichte:

 

Hat der Zufallsvektor   die Dichte  , so gilt für ein  -dimensionales Intervall  :

 

Hat   die Dichte   , so hat die Komponente   die Randdichte

 .

Der folgende Satz gibt die Dichte von   an, wenn die Dichte von   gegeben ist.

Transformationssatz für Dichten Bearbeiten

Der  -dimensionale Zufallsvektor   besitzt die Dichte  , wobei für eine offene Menge   gilt:   für  . Sei   eine bijektive Abbildung mit   stetig differenzierbar.

Dann hat der  -dimensionale Zufallsvektor   eine Dichte und es gilt

 
 

wobei   die   Funktionsmatrix von   ist.

Bemerkung Bearbeiten

Zur Festlegung der Verteilung (und damit der Dichte) von   genügt es,   alleine auf   festzulegen. Sind nämlich   und   mit  , so gilt  .

In der Tat, sei  , dann

 
 

die zweite Gleichheit gilt wegen

 

da   für  .

Beweis Bearbeiten

Sei   offen, dann gilt wegen der zweiten Gleichheit ( ):

 
 
 

wobei wir den Transformationssatz für Integrale angewandt haben. Speziell gilt für offenes  :

 

d.h.   ist Dichte von  .

Korollar Bearbeiten

Besitzt der  -dimensionale Zufallsvektor   die Dichte  , so lautet die Dichte   von  , (A invertierbare  -Matrix,  )

 

Beweis Bearbeiten

  ist auf   bijektiv, mit   und
 

Beispiel Bearbeiten

 -dimensionale Normalenverteilung.

1. Ist    -verteilt (d.h.  ), so besitzt   (  invertierbare  -Matrix,  ) die Dichte

 
 

mit  . (Dann ist  ,   symmetrisch, positiv definit,  ).   ist also  -verteilt.

2. Ist umgekehrt  -verteilt (  symmetrisch, positiv definit), so ist  -verteilt. Dabei ist   eine intvertierbare  -Matrix mit   (  aus 1.).

Bemerkung Bearbeiten

Für symmetrische, positiv definite   existieren verschiedene "Wurzeln"   von   mit (+)   (oben mit  ):

1. symmetrische Wurzel,   symmetrisch, positiv definit

2. Cholesky Wurzel,   obere Dreiecksmatrix

In jedem Fall ist   und (+).

Unabhängige Zufallsvariablen Bearbeiten

Definition Bearbeiten

a) Die auf   definierten Zufallsvariablen   heißen unabhängig, falls für alle   gilt:

 

b) Abzählbar viele Zufallsvariablen   heißen unabhängig, wenn je endlich viele   unabhängig sind.

Satz Bearbeiten

Die auf   definierten Zufallsvariablen   sind unabhängig genau dann, wenn

 

Beweis Bearbeiten

  • Es gelte  :

Seien  , dann gilt:

 
 
 
  • Es gelte   unabhängig:
 
 

Bemerkung Bearbeiten

Da die  -Algebra   von dem System der Intervalle   erzeugt werden, genügt es, statt a) der Definition für alle   zu finden:

 

Auch Intervalltypen   können anstelle von (] verwendet werden.

Satz Bearbeiten

Die Zufallsvariablen   mögen die Dichten   besitzen.

Dann gilt:

  unabhängig
 
  hat Dichte  

Beweis Bearbeiten

" " Sind   unabhängig, dann folgt:

 
 
 
  hat Dichte  .

" " Analog.

Beispiel Bearbeiten

  ist  -verteilt genau dann, wenn die   unabhängig und  -verteilt sind.

Beweis Bearbeiten

Sind   unabhängig mit den Dichten   so hat   gemäß des Satzes die Dichte

 

mit  . Umgekehrt folgt:   hat die Dichte

 

Man stellt fest, durch Integration   über die Komponenten  , dass   die Dichte von   sein muss, so dass die Unabhängigkeit und  -Verteilung der   folgt.

Faltungsformel Bearbeiten

Für unabhängige   gilt:

 

Satz Bearbeiten

Sind   unabhängige Zufallsvariabeln mit Dichten  , dann besitzt die Zufallsvariable   die Dichte

 

Beweis (1) Bearbeiten

Für die Verteilungsfunktion   weisen wir   nach. Es ist

 
 
 

Beweis (2) Bearbeiten

 
 
 

mit der Dichte  

Definition Bearbeiten

Sind   unabhängige Zufallsvariablen, so heißt die Wahrscheinlichkeitsverteilung

 

Faltung von  (mit " " ist Faltungssymbol).

Unabhängige Wartezeiten (Beispiel) (1) Bearbeiten

Sei   die Wartezeit zwischen dem  -ten und  -ten Ereignis. Die Zufallsvariable   stellt die Wartezeit des  -ten Ereignisses dar. Unter den Voraussetzungen

1. Die Zufallsvariablen   sind unabhängig

2. Jedes   ist exponentialverteilt mit dem Paramter   (" -verteilt")

wollen wir die Dichte der Zufallsvariable   berechnen. Es gilt:

 (  falls  )

Unabhängige Wartezeiten (Beispiel) (2) Bearbeiten

Die Wahrscheinlichkeitsverteilung mit der Dichte   heißt Gammaverteilung mit Parametern   und  , kurz   (  heißt dann  -verteilt).

  (n-mal gefaltet)

Zerlegt man einen Satz von Zufallsvariablen in disjunkte Gruppen und setzt auf die Gruppen Funktionen an, so erhalten wir unabhängige Zufallsvariablen.

Satz Bearbeiten

  seien unabhängige Zufallsvariablen, für   sei   eine Zerlegung der Indexmenge und   Zufallsvariable auf  ,  ,    . Bezeichnet   den  -dimensionalen Zufallsvektor  , dann sind

 

unabhängige Zufallsvariablen.

Beweis Bearbeiten

Ohne Einschränkung sei

 
Teil 1 Bearbeiten

Zunächst zeigen wir, dass die   Zufallsvektoren   unabhängig sind, im Sinne von

(*)  

für alle  .

Für die speziellen   der Form   gilt wegen  :

 
 
Teil 2 Bearbeiten
 
 

Nach dem Fortsetzungssatz gilt dann (*) auch für alle  .

Nun wird die Unabhängigkeit der   gezeigt. Es gilt:

 

Momente von Zufallsvariablen Bearbeiten

Wir führen den Begriff des Erwartungswert   einer Zufallsvariable   ein, indem wir uns a den entsprechenden Begriff für den diskreten Fall durch eine Approximation von   (durch eine Folge diskreter Zufallsvariablen  ) anhängen.

Definition (1) Bearbeiten

Für eine beliebige Zufallsvariable   auf   definiert man jedes   die Zufallsvariable ( -te Approximierte):

 
 
d.h.  

Definition (2) Bearbeiten

Es ist  , so dass   eine Zufallsvariable ist, und zwar mit höchstens abzählbar vielen Werten ( ). Gemäß der Definition für den Erwartungswert diskreter Zufallsvariablen setzen wir für die diskrete Zufallsvariable  :

 

(mit  ), sofern

 

Eigenschaften von Xn, E(Xn) Bearbeiten

a)  , insbesondere  

b)  , denn   und a)

c)  , aus b) und Eigenschaften von  

d) Existiert   für  , so existiert auch   für alle  , denn

 

e) Existiert   für (mindestens) ein  , so bildet   eine Cauchyfolge, denn

 

Definition Bearbeiten

Falls für (mindestens) ein   der Erwartungswert   der  -ten Approximation für   existiert, so setzt man   (Existenz nach e) gesichert) und sagt:   existiert oder   besitzt einen Erwartungswert. Man schreibt auch:  .

Bemerkung Bearbeiten

Dieses " -Integral von  " ist von Typ "Lebesgue-Stieltjes" (Intervalleinteilung auf der  -Achse), im Unterschied zum Riemann-Integral (Einteilung auf der  -Achse).

Eigenschaften von E(X) Bearbeiten

a)   existiert genau dann, wenn   existiert (d.h.  ).

b) Ist   abzählbar, so ist  , falls die Reihe absolut kovergiert.

Beweis (1) Bearbeiten

a) Mehrfache Anwendung der Eigenschaften von   a) liefert   und  , woraus a) folgt.

Beweis (2) Bearbeiten

b) Setze  . Wegen   ist

(*)  

Falls die Reihe   absolut konvergiert, so wegen   (ähnliche Abschätzung wie (*)) auch die Reihe  , so dass   in (*) die Behauptung liefert.

Im speziellen Fall, dass   eine Dichte besitzt, berechnet sich   wie folgt.

Satz Bearbeiten

Besitzt die Zufallsvariable   eine Dichte  , so ist

 

sofern  

Beweis Bearbeiten

Wegen   ist:

(*)  
 

(Ähnliche Überlegung zur absoluten Konvergenz   in (*) liefert die Behauptung.

Allgemeiner gilt der folgende Satz ( -dimensionaler Zufallsvektor  , Komposition  ).

Satz Bearbeiten

Besitzt ein  -dimensionaler Zufallsvektor   die Dichte  , und ist   eine (messbare) Funktion von  , gilt:

 

sofern  

Beweis Bearbeiten

Gemäß dem Satz über Verkettung von Zufallsvariablen ist   eine Zufallsvariable. Ähnlich wie oben gilt:

 

Wie bei diskreten Zufallsvariablen haben wir auch hier die Monotonie und die Linearität des Erwartungswertes.

Satz Bearbeiten

Sind   und   Zufallsvariablen mit Erwartungswerten   und  , so gilt:

a)   existiert und   für alle  

b)  , falls  .

c)  

Beweis Bearbeiten

Folgt aus den entsprechenden Eigenschaften für diskrete Zufallsvariablen. Für die Existenz des Erwartungswertes ist das sogenannte Majorantenkriterium nützlich.

Satz Bearbeiten

Sind   Zufallsvariablen mit   und   existiert (d.h.  ), so existiert auch   (und es ist   nach b)).

Beweis Bearbeiten

Für die approximierten Zufallsvariablen   und   gilt   und deshalb:

 

(Letzteres für   nach Voraussetzung). Also existiert auch   und - nach den Eigenschaften von  , a) - auch  .

Satz Bearbeiten

Existieren für unabhängige Zufallsvariablen   und   die Erwartungswerte   und  , so existiert auch der Erwartungswert für   und es gilt

 

Beweis Bearbeiten

Man kann die Approximation   in der Form   schreiben, mit einer geeigneten messbaren Funktion  . Somit sind dann auch   unabhängige Zufallsvariablen und   hat einen Erwartungswert und es gilt

 

Wir haben die Ungleichung

 
 
 

Folgerung Bearbeiten

  •   existiert, also auch  
  •   so dass (*) die Behauptung liefert.

Für das nun folgende ('höhere Momente') wird wiederholt folgende Ungleichung benutzt:

 

für alle  , mit  .

Diese Ungleichung folgt aus der Jensenschen Ungleichung in der Form ( ):

 

(im Beweis ist  .)

Definition (1) Bearbeiten

Sei   ein Wahrscheinlichkeitsraum.

a) Für   bezeichnet   die Menge aller Zufallsvariablen auf   mit  . Für   heißt   das absolute  -te Moment (  das  -te).

b) Für   führt man noch ein: das  -te zentrierte Moment   und das absolute  -te zentrierte Moment  .

Definition (2) Bearbeiten

c) Speziell für   heißt   Varianz von   und   Standardabweichung von  . Wie bereits bei diskreten Zufallsvariablen gilt auch hier   und  .

Ferner gilt:

  •   genau dann, wenn   (' ,   fast überall').
  •   genau dann, wenn   (' ,   fast überall')

Beispiel 1 Bearbeiten

  gleichverteilt auf  ,  . Dann ist   gleichverteilt auf   und

 
 
 

also  .

Beispiel 2 Bearbeiten

  exponentialverteilt mit Parameter  

 
 
 

Beispiel 3 (1) Bearbeiten

Normalverteilung  

Ist    -verteilt, dann ist    -verteilt. Es gilt:

 

wegen   und wegen  

Beispiel 3 (2) Bearbeiten

Ferner:

 

Es folgt für  :  ,  

Die  -Verteilung kann also als Normalenverteilung mit Erwartungswert   und Varianz   charakterisiert werden.

Den Anschluss an die Lineare Algebra/Funktionalanalysis liefert der folgende Satz.

Satz Bearbeiten

Seien   und   vorgegeben.

a)   ist ein linearer Raum.

b)   für alle  . D.h. aus   für ein   folgt   für  , insbesondere ist  .

Beweis Bearbeiten

a) Majorantenkriterium und die Ungleichung des letzten Satzes liefern für  :

 

b) Sei  . Dann gilt für   wegen   auch  .

Wichtig sind die folgenden stochastischen Ungleichungen.

Ungleichungen Bearbeiten

Markov-Ungleichung:

Ist   für ein  , so gilt für jedes  :

 

Tschebyschoff-Ungleichung:

Insbesondere für  :

 

Beweis Bearbeiten

Wiederholte Anwendung der Monotonieeigenschaften von  :

 

setzt man in die Markov-Ungleichung speziell   statt   ein, sowie  , so erhält man die Tschebyschoff-Ungleichung.

Satz Bearbeiten

Für Zufallsvariablen   gilt   und  . Das '='-Zeichen gilt genau dann, wenn  ,   fast überall für  .

Bemerkungen Bearbeiten

Im linearen Raum   können wir ein 'Fast-Skalarprodukt' einführen:

Für   setze  .   ist dann eine bilineare, symmetrische, positiv semidefinite (  ) Form. Aus   folgt aber nur   fast überall (und nicht  ) .

Definition Bearbeiten

Sind  , dann heißen

a)   die Kovarianz von   und  .

b)   unkorreliert, falls  .

c)   Korrelation (oder Korrelationskoeffizient) von   und  , sofern  .

Die Folgerungen für diskrete Zufallsvariablen bezüglich der Kovarianz gelten weiterhin sowie die Eigenschaften von der Varianz und der Kovarianz. Im Hinblick auf die obige Bemerkung gilt:   unkorreliert, falls   (bezüglich  ).

Beispiel Bearbeiten

Momente der  -dimensionalen Normalverteilung.

Ist    -verteilt,   symmetrische, positiv definite  -Matrix.

Behauptung:

 

Bemerkung Bearbeiten

Die Parameter   der  -Verteilung bilden also den Erwartungswert-Vektor bzw. die Matrix der Kovarianz (Cov-Matrix) des  -verteilten Zufallvektors  .

Charakteristische Funktion Bearbeiten

Für diskrete Zufallsvariablen   mit Werten   erwies sich die erzeugende Funktion

  als nützlich, und zwar bei der Berechnung von Momenten, Faltungen und Grenzverteilungen.

Eine vergleichbare Funktion hat die charakteristische Funktion in der allgemeinen Wahrscheinlichkeitstheorie, in der   eine beliebige Zufallsvariable ist. Anstelle des Erwartungswertes   (der nicht notwendigerweise existiert) bildet man den Erwartungswert der komplexwertigen Variablen " ".

Erinnerung: Komplexe Zahlen Bearbeiten

Für eine komplexe Zahl   setze man  . Es ist   mit  . Es gilt  .

Definition Bearbeiten

Sei   ein Wahrscheinlichkeitsraum.

a) Sind   Zufallsvariablen auf  , ( ) so bildet   eine komplexwertige Zufallsgröße auf  , ( ).

b) Existieren  , so heißt die komplexe Zahl   Erwartungswert von  .

Hilfssatz Bearbeiten

a) Sind   komplexe Zufallsgrößen und existieren  , so gilt:

 
 

b)  .

Charakteristische Funktion (Definition) Bearbeiten

Sei   eine Zufallsvariable auf  , so heißt die komplexwertige Funktion  :

 

charakteristische Funktion von  .

Bemerkungen (1) Bearbeiten

  • Aus   folgt wegen  ,   die Existenz von   und  , also von  .
  • Beispiele für charakteristische Funktionen:
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  

Bemerkungen (2) Bearbeiten

  • Keine charakteristischen Funktionen sind:
    •  
    •  
    •  
    •  
  • Wegen   gilt  ,  .
  •   ist gleichmäßig stetig. (ohne Beweis)
  •  

Bemerkungen (3) Bearbeiten

  • Ist   eine Zufallsvariable mit Werten in  , so ist
 
 
 

(vgl. mit  ) Also (!) lautet die charakteristische Gleichung von  :

  •    -verteilt:  
  •    -verteilt:  

Beispiel 1 Bearbeiten

  exponentialverteilt mit Paramter  :

 

Beispiel 2 (1) Bearbeiten

  sei  -verteilt:

 
 
 
 

Beispiel 2 (2) Bearbeiten

 
 
 
 

Beispiel 2 (3) Bearbeiten

 
 
 

Beispiel 3 Bearbeiten

  sei  -verteilt  

   -verteilt.

 

Eindeutigkeitssatz Bearbeiten

Seien   Zufallsvariablen. Dann gilt:

 

Faltungssatz Bearbeiten

Sind   unabhängige Zufallsvariablen, so gilt  .

Beweis Bearbeiten

 

Hilfssatz Bearbeiten

Für den obigen Beweis wurde der folgende Hilfssatz genutzt.

Seien   unabhängige Zufallsvariablen,  ,   komplexwertige Funktionen, so gilt, falls   existieren:

 

Beispiel Bearbeiten

Es gilt  .

Beweis Bearbeiten

Sei    -verteilt und    -verteilt, mit   unabhängig.

 
 
 

Satz (Berechnung von Momenten) Bearbeiten

Für die Zufallsvariable   existieren   für ein  . Dann ist die charakteristische Funktion    -mal stetig differenzierbar mit

 

(für   gerade gilt auch die Umkehrung).

Siehe auch Bearbeiten