Kurs:Stochastik/Erzeugende Funktionen

Erzeugende Funktionen

Erzeugende Funktionen nützen bei der Berechnung von

• Momenten,
• Faltung,
• Grenzwerten von Wahrscheinlichkeiten

Definition - Erzeugende Funktion

Ist $X$ eine Zufallsvariable auf $(\Omega ,P)$ mit Werten in $\mathbb {Z} _{+}$, so heißt

$G_{X}(s)=G_{P_{X}}(s)=\sum _{k=0}^{\infty }s^{k}P_{X}\lbrace k\rbrace ,0\leq s\leq 1$

die erzeugende Funktion von $X$ (von $P_{X}$).

Wegen $\sum _{k=0}^{\infty }P\lbrace k\rbrace =1$ stellt $G_{X}$ eine Potenzreihe dar mit Konvergenzradius $\geq 1$. Somit ist $G_{X}$ wohldefiniert und beliebig oft differenzierbar in $[0,1]\setminus \lbrace 1\rbrace$.

Bemerkungen

1. Wegen ${\frac {d^{n}}{ds^{n}}}G_{X}|_{s=0}=n!P_{X}\lbrace n\rbrace ,n\in \mathbb {Z} _{+}$ so dass die Zuordnung $P_{X}\to G_{X}(s)$ injektiv ist.

2. Man beachte auch die folgende Schreibweise: $G_{X}(s)=EX^{2}$.

3. Für unabhängige Zufallsvariablen $X_{1},...,X_{n}$ mit Werten in $\mathbb {Z} _{+}$ gilt:

$G_{X_{1},...,X_{n}}(s)=Es^{X_{1}}\cdot ...\cdot s^{X_{n}}=Es^{X_{1}}\cdot ...\cdot Es^{X_{n}}=G_{X_{1}}(s)\cdot ...\cdot G_{X_{n}}(s)$

Satz

Sei $X$ eine Zufallsvariable mit Werten in $\mathbb {Z} _{+}$.

a) Der (linksseitige) Grenzwert $G'_{X}(1-)={lim}_{s\uparrow 1}G'(s)$ existiert genau dann, wenn $E(X)$ existiert. In diesem Fall ist $E(X)=G'(1-)$.

b) Es existiere $E(X)$. $G''(1-)$ existiert genau dann, wenn $E(X^{2})$ existiert. In diesem Fall ist $Var(X)={G''}_{X}(1-)+G'_{X}(1-)-(G'_{X}(1-))^{2}$.

Beweis a) (i)

a) Zunächst gilt für $s\in [0,1]\setminus \lbrace 1\rbrace$:

$G'_{X}(s)=\sum _{k=1}^{\infty }ks^{k-1}P_{X}\lbrace k\rbrace$

i) Sei $E(X)<\infty$.

$G'_{X}(s)\leq \sum _{k=1}^{\infty }kP_{x}\lbrace k\rbrace =E(X)<\infty$

Also auch

${lim}_{s\uparrow 1}G'_{X}(s)\equiv G'_{X}(1-)\leq E(X).$

Beweis a) (ii)

ii) Sei $G'_{X}(1-)<\infty$. Für $s\in [0,1]\setminus \lbrace 1\rbrace$ gilt:

$\sum _{k=1}^{\infty }ks^{k-1}P_{X}\lbrace k\rbrace \leq G'_{X}(s)\leq {lim}_{n\uparrow 1}G_{X}'(n)=G'_{X}(1-)<\infty$

Also auch beliebige $s\uparrow 1$:

$\sum _{k=1}^{\infty }ks^{k-1}P_{X}\lbrace k\rbrace \leq G'_{X}(1-)$

und bei $n\uparrow \infty$:

$E(X)\leq G'_{X}(1-)<\infty$

Aus i) und ii) ferner:

$G'_{X}(1-)\leq E(X)\leq G'_{X}(1-)$

Beweis b)

b) Vorbemerkung: $E(X^{2})<\infty$ genau dann, wenn $E(X(X-1))<\infty .$

Ausgehend von $G''_{X}(s)=\sum _{k=2}^{\infty }k(k-1)s^{k-2}P_{X}\lbrace k\rbrace ,s\in [0,1]\setminus \lbrace 1\rbrace$, zeigt man wie in a) die gleichzeitige Existenz von $E(X(X-1))$ und $G''_{X}(1-)$. In welchem Fall dann $E(X(X-1))=G''_{X}(s)$ ist. Die Verschiebungsformel schließlich liefert $Var(X)=E(X(X-1))+E(X)-E(X^{2})$.

Beispiel (1)

Sei $X$ $B(n,p)$-verteilt, so rechnet man mit $q=1-p$.

$G_{X}(s)=\sum _{k=0}^{n}{\binom {n}{k}}(p\cdot s)^{k}q^{n-k}=(q+ps)^{n},$ $s\in \mathbb {R}$

Ableitung an der Stelle 1 liefert:

$G'_{X}(1)=n(q+ps)^{n-1}\cdot p|_{s=1}=np=E(X)$

$G''_{X}(1)=n(n-1)(q+ps)^{n-2}\cdot p^{2}|_{s=1}=n(n-1)p^{2}$

$\to Var(X)=n(n-1)p^{2}+np-(np)^{2}=np(1-p)$

Beispiel (2)

Seien $X_{1},X_{2}$ unabhängige $B(n_{1},p)$ beziehungsweise $B(n_{2},p)$-verteilte Zufallsvariablen. Aus Bemerkung 3 folgt:

$G_{X_{1}+X_{2}}(s)=G_{X_{1}}(s)\cdot G_{X_{2}}(s)=(q+ps)^{n_{1}+n_{2}}$

d.h. $P_{X_{1}+X_{2}}$ ist die $B(n_{2}+n_{2},p)$-Verteilung (mit Bemerkung 1), kurz:

$B(n_{1},p)\ast B(n_{2},p)=B(n_{1}+n_{2},p)$

Poissonverteilung (Beispiel) (1)

Ist $X$ $P(\lambda )$-verteilt, so ist

$G_{X}(s)=\sum _{k=0}^{\infty }{\frac {(\lambda s)^{k}}{k!}}\cdot e^{-\lambda }=e^{\lambda s}e^{-\lambda }=e^{\lambda (s-1)},e\in \mathbb {R} .$

Ableitung an der Stelle 1:

$G'_{X}(1)=\lambda e^{\lambda (s-1)}|_{s=1}=\lambda$

$G''_{X}(1)=\lambda ^{2}e^{\lambda (s-1)}|_{s=1}=\lambda ^{2}$

$Var(X)=\lambda ^{2}+\lambda -\lambda ^{2}=\lambda$

(Erwartungswert und Varianz jeweils gleich $\lambda$).

Poissonverteilung (Beispiel) (2)

Sind $X_{1}$ und $X_{2}$ unabhängige, $P(\lambda _{1})$- beziehungsweise $P(\lambda _{2})$-verteilte Zufallsvariablen, so gilt:

$G_{X_{1}+X_{2}}(s)=e^{(\lambda _{+}\lambda _{2})(s-1)}$

d.h. $P(\lambda _{1})\ast P(\lambda _{2})=P(\lambda _{1}+\lambda _{2})$, mit Bemerkung 1.

Negative Binominalverteilung (Definition) (1)

($(NB(n,p)),n\in \mathbb {N} ,0\leq p\leq 1$, setze $q=1-p$)

Eine Wahrscheinlichkeitsverteilung auf $\mathbb {Z}$ mit der Wahrscheinlichkeitsfunktion

$p_{k}={\binom {n+k-1}{k}}\cdot p^{n}\cdot q^{k},k=0,1,...$

heißt negative Binominalverteilung. Man kann auch schreiben

$p_{k}={\binom {-n}{k}}(-1)^{k}p^{n}q^{k},$

wobei ${\binom {r}{k}}={\frac {(r)_{k}}{k!}},r\in \mathbb {R} .$

Negative Binominalverteilung (Definition) (2)

Im Spezialfall $n=1$ spricht man von einer geometrischen Verteilung: $P_{k}=q\cdot p^{k},k=0,1,...$.

Zählt $X$ die Anzahl der 'Misserfolge' 0 bis zum Auftreten des n-ten 'Erfolges' 1 (unabhängige Wiederholungen), so ist $X$ $NB(n,p)$-verteilt, $p=P\lbrace 1\rbrace >0$.

Negative Binominalverteilung (Definition) (3)

Man rechnet $G_{X}(s)=({\frac {p}{1-ps}})^{n},0\leq s\leq {\frac {1}{q}}$ (Binomische Reihe)

$E(X)=n{\frac {q}{p}}=\mu ,Var(X)=n{\frac {q}{p^{2}}}\sigma ^{2}.$

($\sigma ^{2}={\frac {\mu }{p}}>\mu$, 'overdispension')

Es gilt:

$NB(1,p)\ast ...\ast NB(1,p)=NB(n,p)$ (n-mal verknüpft)

Grenzen von Wahrscheinlichkeitsverteilungen

Notation: Ist $(p_{0},p_{1},...)$ eine Wahrscheinlichkeitsfunktion auf $\mathbb {Z} _{+}$, ($p_{k}>0,\sum _{k=0}^{\infty }p_{k}=1$), so bezeichnet $G(s)=\sum _{k=0}^{\infty }s_{k}p_{k},0\leq s\leq 1$, ihre erzeugende Funktion. Liegt eine Folge

$(p_{0}^{(n)},p_{1}^{(n)},...),n\geq 1$

von Wahrscheinlichkeitsfunktionen auf $\mathbb {Z} _{+}$ vor, so konvergieren die Wahrscheinlichkeiten $p_{k}^{(n)}$ bei $n\to \infty$ genau dann, wenn die Folge der zugehörigen erzeugenden Funktionen

$G^{(n)}(s)=\sum _{k=0}^{\infty }s^{k}p_{k}^{(n)},0\leq s\leq 1,n\geq 1$

konvergiert. Genauer:

Stetigkeitssatz

Gegeben sei eine Folge von Wahrscheinlichkeitsfunktionen aus $\mathbb {Z} _{+}$, mit der Folge $G^{(n)}$ der zugehörenden erzeugenden Funktionen. Dann existieren die Limiten

$a_{k}=lim_{n\to \infty }p_{k}^{(n)}$

für alle $k=0,1,...$ genau dann, wenn der Limes

$A(s)=lim_{n\to \infty }G^{(n)}(s)$

für alle $s\in (0,1)$ existiert. In diesem Fall ist

$A(s)=\sum _{k=0}^{\infty }s^{k}a_{k}.$

Bemerkung

Aus der ersten Formel folgt mit $a_{k}>0$ und $\sum _{k=0}^{\infty }a_{k}\leq 1$. ($a_{0},a_{1},...$ bilden nicht notwendigerweise eine Wahrscheinlichkeitsfunktion).

Beweis (i)

i) Wir nehmen $a_{k}=lim_{n\to \infty }p_{k}^{(n)}$ an und definieren $A(s)$ durch $A(s)=\sum _{k=0}^{\infty }s^{k}a_{k}$. Wegen $|p_{k}^{(n)}-G_{k}|\leq 1$ gilt für $s\in (0,1)$:

$|G^{(n)}(s)-A(s)|\leq \sum _{k=0}^{r}|p_{k}^{(n)}-a_{k}|s^{k}+\sum _{k=r+1}^{\infty }s^{k}$

Zu $\epsilon >0$ wähle $r$ so groß, dass ${\frac {s^{r}}{1-s}}<\epsilon$. Dann $lim_{n\to \infty }|G^{(n)}(s)-A(s)|\leq \epsilon$.

Beweis (ii) Teil 1

ii) Gelte nun die zweite Gleichung. Wir zeigen die erste sukzessive für $k=0,1,...$.

Zunächst $k=0$:

$p_{0}^{(n)}\leq G^{(n)}(s)\leq p_{0}^{(n)}+\sum _{k=1}^{\infty }1s^{k}=p_{0}^{(n)}+{\frac {s}{1-s}},s\in (0,1)$

Für jeden Häufungspunkt ${\bar {p}}_{0}$ der beschränkten Folge $p_{0}^{(n)},n\geq 1$, gilt demnach:

$A(s)-{\frac {s}{1-s}}\leq {\bar {p}}_{0}\leq A(s),$ für alle $s\in (0,1)$

Wegen der Monotonie von $A(s)$ existiert also $A(0)=lim_{s\to 0}A(s),$ so dass die obige Gleichung bei $s\downarrow 0$ liefert:

(*) ${\bar {p}}_{0}=A(0)=lim_{n}p_{0}^{(n)}$.

Beweis (i), Teil 2

Zu $k=1$:

Aus der zweiten Gleichung folgt:

${\frac {G^{(n)}(s)-p_{0}^{(n)}}{s}}\Rightarrow ^{n\to \infty }{\frac {A(s)-A(0)}{s}}$

links: Potenzreihe mit $p_{1}^{(n)}$ als Anfangsglied, rechts: Differenzenquotient, der gegen $A'(0)$ bei $s\downarrow 0$ konvergiert.

Analog zu $k=0$:

$p_{1}=A'(0)=lim_{n}p_{1}^{(n)}$

Beispiel (1)

(Poissonverteilung als Grenzwert der negativen Binominalverteilung)

Nach der Definition lautet die erzeugende Funktion der $NB(n,p)$ gleich $({\frac {1-q}{1-sq}})^{n}$. Nun gehe $n\to \infty$, aber so, dass $p=p_{n}\to 1$, genauer:

Es gibt ein $\lambda >0$ mit (*) $nq_{n}\to \lambda ,(q_{n}=1-p_{n})$. Die Erzeugende Funktion der $NB(n,p)$ lautet dann mit $\lambda _{n}=n\cdot q_{n}\to \lambda$:

$G_{s}^{(n)}=({\frac {1-{\frac {\lambda _{n}}{n}}}{1-{\frac {\lambda _{n}s}{n}}}})^{n}\to {\frac {e^{-\lambda }}{e^{\lambda s}}}=e^{\lambda (s-1)}\equiv G(s),s\in \mathbb {R}$

Beispiel (2)

$G(s)$ ist erzeugende Funktion der $P(\lambda )$-Verteilung. Also folgt aus dem Stetigkeitssatz:

${\binom {n+k-1}{k}}p_{n}^{n}q_{n}^{k}\to e^{-\lambda }{\frac {\lambda _{n}}{k!}},$ unter (*), $k=0,1,...$.

Interpretation

Für große $n$ ist $k$ die Anzahl der auftretenden Ereignisse $E$ ('Misserfolge') in einer langen Beobachtungsperiode, wobei $E$ eine sehr kleine Auftrittswahrscheinlichkeit $q={\frac {\lambda }{n}}$ hat.

Bemerkung

Die Anwendung des Stetigkeitssatzes ist auf alle Fälle beschränkt, in denen die 'Grenzverteilung' die diskrete Wahrscheinlichkeitsverteilung ist. Der wichtigste Fall ist dabei gerade der mit einer 'stetigen Grenzverteilung' (später), so dass wir dort einen anderen Stetigketissatz benötigen werden.

Siehe auch

• Kurs:Stochastik
• Momente
• Varianz
• Kovarianz

Seiteninformation

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Wiki2Reveal

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Kurs:Stochastik' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.

• Die Seite wurde als Dokumententyp PanDocElectron-SLIDE erstellt.
• Link zur Quelle in Wikiversity: https://de.wikiversity.org/wiki/Kurs:Stochastik/Erzeugende%20Funktionen
• siehe auch weitere Informationen zu Wiki2Reveal und unter Wiki2Reveal-Linkgenerator.