Kurs:Maß- und Integrationstheorie (Osnabrück 2022-2023)/Vorlesung 22

Orthonormalsysteme

Definition

Es sei ${}V$ ein ${}{\mathbb {K} }$- Vektorraum mit Skalarprodukt ${}\left\langle -,-\right\rangle$. Eine Familie von Vektoren ${}v_{i}$, ${}i\in I$, von ${}V$ heißt Orthonormalsystem, wenn

$\left\langle v_{i},v_{i}\right\rangle =1{\text{ für alle }}i\in I{\text{ und }}\left\langle v_{i},v_{j}\right\rangle =0{\text{ für }}i\neq j$

gilt.

Zu einem gegebenen Orthonormalsystem ${}v_{i}$, ${}i\in I$, und einem Vektor ${}v\in V$ spielen die Koeffizienten ${}\left\langle v,v_{i},\right\rangle$ eine wichtige Rolle, man spricht von den Fourierkoeffizienten des Vektors bezüglich des Systems, wobei diese Sprechweise insbesondere im Kontext von Fourierreihen verwendet wird. Eine wichtige Frage ist, in welcher Beziehung ${}v$ zu ${}\sum _{i\in I}\left\langle v,v_{i},\right\rangle v_{i}$ steht, wobei bei ${}I$ unendlich zuerst zu klären ist, in welchem Sinne eine solche unendlich Summe verstanden werden kann. Im endlichen Fall haben wir folgende Beschreibung, auf die man weitere Resultate zurückführen kann.

Lemma

Es sei ${}V$ ein ${}{\mathbb {K} }$- Vektorraum mit einem Skalarprodukt ${}\left\langle -,-\right\rangle$, sei ${}v_{i}$, ${}i\in E$, ein endliches Orthonormalsystem mit dem davon erzeugten Untervektorraum ${}U$.

Dann gilt für die orthogonale Projektion

${}p_{U}(v)=\sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i}\,.$

Beweis

Es sei

${}w=v-\sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i}\,,$

es ist nach Korollar 21.8 lediglich zu zeigen, dass ${}w$ orthogonal zu den ${}v_{j}$ ist. Dies ergibt sich direkt aus

${}{\begin{aligned}\left\langle w,v_{j}\right\rangle &=\left\langle v-\sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i},v_{j}\right\rangle \\&=\left\langle v,v_{j}\right\rangle -\sum _{i\in E}\left\langle \left\langle v,v_{i}\right\rangle v_{i},v_{j}\right\rangle \\&=\left\langle v,v_{j}\right\rangle -\left\langle v,v_{j}\right\rangle \\&=0.\end{aligned}}$

$\Box$

Beispiel

Es sei ${}E$ eine endliche Menge und

${}V={\mathbb {K} }^{E}\cong {\mathbb {K} }^{\#\left(E\right)}\,$

die Menge der ${}{\mathbb {K} }$-wertigen Funktionen auf ${}E$, versehen mit dem Standardskalarprodukt. Eine Funktion ${}f\in V$ kann einfach durch eine vollständige Wertetabelle beschrieben werden. Es kann aber auch sinnvoll sein, die Funktion ${}f$ durch eine Funktion ${}g$ aus einem vorgegebenen Untervektorraum ${}U\subseteq V$ zu approximieren. Dabei liefert das Skalarprodukt und die zugehörige orthogonale Projektion auf ${}U$ ein naheliegendes Hilfsmittel, um eine optimale Approximation zu finden. Nach Korollar 21.7 ist ${}p_{U}(f)$ diejenige Funktion, die unter allen Funktionen aus ${}U$ zu ${}f$ den minimalen Abstand besitzt, wobei der Abstand zu ${}f$ über das Skalarprodukt gegeben ist, also durch

${}\Vert {g-f}\Vert ^{2}=\sum _{i\in E}\vert {g_{i}-f_{i}}\vert ^{2}\,.$

Wenn ${}g_{j}$, ${}j\in J$, eine Orthonormalbasis von ${}U$ ist, so ist

${}g=p_{U}(f)=\sum _{j\in J}\left\langle f,g_{j}\right\rangle g_{j}\,$

nach Lemma 22.2 die beste Approximation. Das so bestimmte ${}g$ minimiert also die Summe der einzelnen Differenzquadrate, man spricht von der Methode der kleinsten Fehlerquadrate.

Eine typische Anwendung ist, wenn ${}E$ Messtellen repräsentiert, etwa ${}E\subseteq \mathbb {R} ^{d}$, und ${}f_{e}$ Messergebnisse, die eventuell fehlerhaft sein können. Man weiß aus physikalischen Gründen, dass die Abhängigkeit einer gewissen Gesetzmäßigkeit gehorchen muss, beispielsweise ein linearer Zusammenhang sein muss oder als Flugbahn eines Planeten eine Ellipse sein muss oder ähnliches. Diese Gesetzmäßigkeit legt den (typischerweise niedrigdimensionalen) Untervektorraum ${}U$ fest, in dem nach einer optimalen Approximation gesucht wird, das den Messergebnissen möglichst nahe kommt.

Beispiel

Von einer unbekannten Funktion ${}f\colon \mathbb {R} \rightarrow \mathbb {R}$ sei der Datensatz ${}(1,11),\,(4,20),\,(6,23)$ gegeben und es sei bekannt, dass ${}f$ eine affin-lineare Funktion sein muss. Der Datensatz beruht auf Messungen, in denen Fehler und Ungenauigkeiten vorkommen können, die drei Punkte liegen nicht wirklich auf einer Geraden. Es wird nach der affin-linearen Funktion ${}ax+b$ gesucht, die gut zu den Daten passt. Wir betrachten die Abbildung

$\Psi \colon \mathbb {R} ^{2}\longrightarrow \mathbb {R} ^{3},\,(a,b)\longmapsto (a+b,4a+b,6a+b),$

die einem Parameterpaar ${}(a,b)$, das die affin-lineare Funktion ${}ax+b$ repräsentiert, die Auswertung an den drei Punkten ${}(1,4,6)$ zuordnet. Dabei ist ${}\Psi$ eine injektive lineare Abbildung und das Bild ${}U=\operatorname {bild} \varphi$ ist ein zweidimensionaler Untervektorraum von ${}\mathbb {R} ^{3}$. Diese Ebene steht senkrecht zum Vektor ${}{\begin{pmatrix}-2\\5\\-3\end{pmatrix}}$, eine Basis ist durch ${}{\begin{pmatrix}5\\2\\0\end{pmatrix}}$ und ${}{\begin{pmatrix}0\\3\\5\end{pmatrix}}$ gegeben (die unter ${}\Psi$ von der Basis ${}{\begin{pmatrix}-1\\6\end{pmatrix}}$ und ${}{\begin{pmatrix}1\\-1\end{pmatrix}}$ des ${}\mathbb {R} ^{2}$ herrührt). Die optimale Approximation (im Sinne der euklidischen Norm bzw. im Sinne der kleinsten Fehlerquadrate) ist die orthogonale Projektion des Wertetupels ${}{\begin{pmatrix}11\\20\\23\end{pmatrix}}$ auf die Ebene. Dies führt zum linearen Gleichungssystem

${}{\begin{pmatrix}11\\20\\23\end{pmatrix}}=\alpha {\begin{pmatrix}5\\2\\0\end{pmatrix}}+\beta {\begin{pmatrix}0\\3\\5\end{pmatrix}}+\gamma {\begin{pmatrix}-2\\5\\-3\end{pmatrix}}\,$

mit den Lösungen ${}\alpha ={\frac {218}{95}}$, ${}\beta ={\frac {901}{190}}$ und ${}\gamma ={\frac {9}{38}}$. Daher ist

${}p_{U}{\begin{pmatrix}11\\20\\23\end{pmatrix}}={\frac {218}{95}}{\begin{pmatrix}5\\2\\0\end{pmatrix}}+{\frac {901}{190}}{\begin{pmatrix}0\\3\\5\end{pmatrix}}={\frac {1}{190}}{\begin{pmatrix}2180\\3575\\4505\end{pmatrix}}={\frac {1}{38}}{\begin{pmatrix}436\\715\\901\end{pmatrix}}\,.$

Der entsprechende Punkt auf dem ${}\mathbb {R} ^{2}$ ist

${}{\frac {218}{95}}{\begin{pmatrix}-1\\6\end{pmatrix}}+{\frac {901}{190}}{\begin{pmatrix}1\\-1\end{pmatrix}}={\frac {1}{190}}{\begin{pmatrix}-436+901\\2616-901\end{pmatrix}}={\frac {1}{190}}{\begin{pmatrix}465\\1715\end{pmatrix}}={\frac {1}{38}}{\begin{pmatrix}93\\343\end{pmatrix}}\,.$

Die beste Approximation ist also

${}f(x)={\frac {93}{38}}x+{\frac {343}{38}}\,.$

Es ist ${}f(1)={\frac {436}{38}}\sim 11,473$, ${}f(4)={\frac {715}{38}}\sim 18,815$ und ${}f(6)={\frac {901}{38}}\sim 23,710$.

Satz

Es seien ${}x_{1},\ldots ,x_{n}$ verschiedene reelle Zahlen, ${}n\geq 2$, und ${}y_{1},\ldots ,y_{n}$ reelle Zahlen. Es sei ${}{\bar {x}}={\frac {\sum _{i=1}^{n}x_{i}}{n}}$ und ${}{\bar {y}}={\frac {\sum _{i=1}^{n}y_{i}}{n}}$.

Dann ist die affin-lineare Funktion ${}ax+b$ mit

${}a={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})y_{i}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\,$

und

${}b={\bar {y}}-a{\bar {x}}\,$

die optimale lineare Approximation für den Datensatz

${}f(x_{i})=y_{i}\,$

im Sinne der minimalen Fehlerquadrate.

D.h. die Summe der Fehlerquadrate ${}\sum _{i=1}^{n}(ax_{i}+b-y_{i})^{2}$ wird für die angegebenen Koeffizienten ${}a$ und ${}b$ minimal.

Beweis

Wir betrachten die Abbildung

$\psi \colon \mathbb {R} ^{2}\longrightarrow \mathbb {R} ^{n},\,(a,b)\longmapsto \left(ax_{1}+b,\,\ldots ,\,ax_{n}+b\right).$

Diese Abbildung ist linear und injektiv, da

${}\psi (1,0)=\left(x_{1},\,\ldots ,\,x_{n}\right)=:v_{1}\,$

und

${}\psi (0,1)=\left(1,\,\ldots ,\,1\right)=:v_{2}\,$

linear unabhängig sind. Es sei

${}U=\operatorname {bild} \psi =\langle v_{1},v_{2}\rangle \subseteq \mathbb {R} ^{n}\,.$

Es geht darum, die orthogonale Projektion von ${}y=\left(y_{1},\,\ldots ,\,y_{n}\right)$ auf ${}U$ zu bestimmen. Der Vektor

${}u_{2}={\frac {v_{2}}{\Vert {v_{2}}\Vert }}=\left({\frac {1}{\sqrt {n}}},\,\ldots ,\,{\frac {1}{\sqrt {n}}}\right)\,$

ist normiert. Wegen

${}\left\langle {\begin{pmatrix}x_{1}\\\vdots \\x_{n}\end{pmatrix}}-{\bar {x}}{\begin{pmatrix}1\\\vdots \\1\end{pmatrix}},{\begin{pmatrix}1\\\vdots \\1\end{pmatrix}}\right\rangle =0\,$

bildet

${}u_{1}:={\frac {v_{1}-{\bar {x}}v_{2}}{\Vert {v_{1}-{\bar {x}}v_{2}}\Vert }}={\frac {1}{\sqrt {\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}}{\begin{pmatrix}x_{1}-{\bar {x}}\\\vdots \\x_{n}-{\bar {x}}\end{pmatrix}}\,$

zusammen mit ${}u_{2}$ eine Orthonormalbasis von ${}U$. Es entspricht ${}u_{2}$ der konstanten Funktion ${}{\frac {1}{\sqrt {n}}}$ und ${}u_{1}$ der affin-linearen Funktion ${}{\frac {1}{\sqrt {\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}}(x-{\bar {x}})$. Nach Lemma 22.2 ist

${}p_{U}\left(y\right)=\left\langle y,u_{1}\right\rangle u_{1}+\left\langle y,u_{2}\right\rangle u_{2}\,,$

dabei ist

${}\left\langle y,u_{1}\right\rangle ={\frac {\sum _{i=1}^{n}y_{i}{\left(x_{i}-{\bar {x}}\right)}}{\sqrt {\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}}\,$

und

${}\left\langle y,u_{2}\right\rangle ={\frac {\sum _{i=1}^{n}y_{i}}{\sqrt {n}}}\,.$

Somit ist die optimale affin-lineare Funktion gleich

${\frac {\sum _{i=1}^{n}y_{i}{\left(x_{i}-{\bar {x}}\right)}}{\sqrt {\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}}\cdot {\frac {1}{\sqrt {\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}}(x-{\bar {x}})+{\frac {\sum _{i=1}^{n}y_{i}}{\sqrt {n}}}\cdot {\frac {1}{n}},$

also ist

${}a={\frac {\sum _{i=1}^{n}y_{i}{\left(x_{i}-{\bar {x}}\right)}}{\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}\,$

und

${}b={\bar {y}}-a{\bar {x}}\,.$

$\Box$

Den Graphen der approximierenden affin-linearen Funktion im vorstehenden Satz nennt man Ausgleichsgerade.

Beispiel

In der Situation von Beispiel 22.4 kommt man mit Satz 22.5 deutlich schneller ans Ziel. Es ist

${}{\bar {x}}={\frac {1+4+6}{3}}={\frac {11}{3}}\,$

und daher

${}{\begin{aligned}a&={\frac {{\left(1-{\frac {11}{3}}\right)}\cdot 11+{\left(4-{\frac {11}{3}}\right)}\cdot 20+{\left(6-{\frac {11}{3}}\right)}\cdot 23}{{\left(1-{\frac {11}{3}}\right)}^{2}+{\left(4-{\frac {11}{3}}\right)}^{2}+{\left(6-{\frac {11}{3}}\right)}^{2}}}\\&={\frac {-{\frac {8}{3}}\cdot 11+{\frac {1}{3}}\cdot 20+{\left({\frac {7}{3}}\right)}\cdot 23}{{\left(-{\frac {8}{3}}\right)}^{2}+{\left({\frac {1}{3}}\right)}^{2}+{\left({\frac {7}{3}}\right)}^{2}}}\\&=3\cdot {\frac {-88+20+161}{64+1+49}}\\&=3\cdot {\frac {93}{114}}\\&={\frac {93}{38}}\end{aligned}}$

und

${}b={\bar {y}}-a{\bar {x}}=18-{\frac {93}{38}}\cdot {\frac {11}{3}}={\frac {2052-1023}{114}}={\frac {1029}{114}}={\frac {343}{38}}\,.$

Vollständige Orthonormalsysteme

Definition

Ein Orthonormalsystem ${}v_{i}$, ${}i\in I$, in einem ${}{\mathbb {K} }$- Vektorraum ${}V$ mit Skalarprodukt heißt vollständig oder eine Hilbertbasis, wenn der von den ${}v_{i}$ erzeugte Untervektorraum dicht in ${}V$ ist.

Die folgende Aussage heißt Besselsche Abschätzung.

Lemma

Es sei ${}V$ ein ${}{\mathbb {K} }$- Vektorraum mit einem Skalarprodukt ${}\left\langle -,-\right\rangle$ und sei ${}v_{i}$, ${}i\in I$, ein Orthonormalsystem.

Dann ist für jeden Vektor ${}v\in V$ die Familie ${}\vert {\left\langle v,v_{i}\right\rangle }\vert ^{2}$, ${}i\in I$, summierbar und es gilt

${}\sum _{i\in I}\vert {\left\langle v,v_{i}\right\rangle }\vert ^{2}\leq \Vert {v}\Vert ^{2}\,.$

Beweis

Für jede endliche Teilmenge ${}E\subseteq I$ schreiben wir

${}v=\sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i}+w\,$

(dabei ist ${}w$ orthogonal zu ${}\langle v_{i},i\in E\rangle$ und hängt von ${}E$ ab) und erhalten aufgrund der Orthogonalitätsbeziehungen

${}{\begin{aligned}\sum _{i\in E}\vert {\left\langle v,v_{i}\right\rangle }\vert ^{2}&=\sum _{i\in E}\vert {\left\langle v,v_{i}\right\rangle }\vert ^{2}\left\langle v_{i},v_{i}\right\rangle \\&\leq \sum _{i\in E}\left\langle \left\langle v,v_{i}\right\rangle v_{i},\left\langle v,v_{i}\right\rangle v_{i}\right\rangle +\left\langle w,w\right\rangle \\&=\left\langle \sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i}+w,\sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i}+w\right\rangle \\&=\left\langle v,v\right\rangle \\&=\Vert {v}\Vert ^{2}.\end{aligned}}$

Nach Aufgabe 17.14 (Analysis (Osnabrück 2021-2023)) ist die Familie summierbar und ihre Summe ist durch ${}\Vert {v}\Vert ^{2}$ beschränkt.

$\Box$

Korollar

Es sei ${}V$ ein ${}{\mathbb {K} }$- Hilbertraum und sei ${}v_{i}$, ${}i\in I$, ein Orthonormalsystem.

Dann ist zu einem Vektor ${}v\in V$ die Vektorenfamilie ${}\left\langle v,v_{i}\right\rangle v_{i}$, ${}i\in I$, summierbar.

Beweis

Für jede endliche Teilmenge ${}E\subseteq I$ ist

${}\Vert {\sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i}}\Vert ^{2}=\sum _{i\in E}\Vert {\left\langle v,v_{i}\right\rangle v_{i}}\Vert ^{2}=\sum _{i\in E}\vert {\left\langle v,v_{i}\right\rangle }\vert ^{2}\,,$

was nach Lemma 22.8 durch ${}\Vert {v}\Vert ^{2}$ beschränkt ist. Daher ist die Familie eine Cauchy-Familie und somit wegen der Vollständigkeit des Raumes nach Lemma 19.3 summierbar.

$\Box$

Im Allgemeinen gibt es keinen direkten Zusammenhang zwischen ${}v$ und ${}\sum _{i\in I}\left\langle v,v_{i}\right\rangle v_{i}$, man denke etwa an kleine Orthonormalsysteme. Der folgende Satz charakterisiert die vollständigen Orthonormalsysteme.

Satz

Es sei ${}V$ ein ${}{\mathbb {K} }$- Vektorraum mit einem Skalarprodukt ${}\left\langle -,-\right\rangle$ und sei ${}v_{i}$, ${}i\in I$, ein Orthonormalsystem. Dann sind folgende Aussagen äquivalent.

1. Die Familie ist vollständig.
2. Für jedes ${}v\in V$ gilt

   ${}v=\sum _{i\in I}\left\langle v,v_{i}\right\rangle v_{i}\,.$

3. Für jedes ${}v\in V$ gilt

   ${}\Vert {v}\Vert ^{2}=\sum _{i\in I}\vert {\left\langle v,v_{i}\right\rangle }\vert ^{2}\,.$

Beweis

Von (1) nach (2). Die Vollständigkeit des Orthonormalsystems bedeutet, dass es zu jedem Vektor ${}v\in V$ und jedem ${}\epsilon >0$ ein Koeffiziententupel ${}a_{i}$ mit einer endlichen Trägermenge ${}E\subseteq I$ mit

${}\Vert {v-\sum _{i\in E}a_{i}v_{i}}\Vert \leq \epsilon \,$

gibt. Nach Lemma 22.2 erfüllt erst recht ${}\sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i}$ diese Eigenschaft. Dies heißt aber, dass die Summe ${}\sum _{i\in I}\left\langle v,v_{i}\right\rangle v_{i}$ gleich ${}v$ ist. Von (2) nach (1) ergibt sich aus Lemma 19.4.

Zum Nachweis der Äquivalenz von (2) und (3) ziehen wir für eine endliche Teilmenge ${}E\subseteq I$ die Gleichung

${}\Vert {v-\sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i}}\Vert ^{2}=\Vert {v}\Vert ^{2}-\sum _{i\in E}\vert {\left\langle v,v_{i}\right\rangle }\vert ^{2}\,$

heran. (2) bedeutet, dass die linke Seite beliebig klein wird, (3) bedeutet, dass die rechte Seite beliebig klein wird, daher sind die Eigenschaften äquivalent.

$\Box$

Die Gleichung in (3) des vorstehenden Satzes nennt man auch Parsevalsche Gleichung.

Lemma

Es sei ${}v_{i}$, ${}i\in I$, ein Orthonormalsystem in einem ${}{\mathbb {K} }$- Hilbertraum ${}V$.

Dann kann man das System zu einem vollständigen Orthonormalsystem ergänzen.

Beweis

Siehe Aufgabe 22.12.

$\Box$

Bemerkung  

In einem ${}{\mathbb {K} }$- Vektorraum ${}V$ mit Skalarprodukt kann man ein gegebenes System von linear unabhängigen Vektoren ${}v_{n}$, ${}n\in \mathbb {N}$, mit Hilfe des Orthonomalisierungsverfahrens im endlichdimensionalen Fall in ein abzählbar unendliches Orthonormalsystem überführen. Speziell kann man in einem separablen Hilbertraum aus jeder linear unabhängigen Familie, die einen dichten Untervektorraum erzeugt, ein abzählbares vollständiges Orthonormalsystem gewinnen.

Definition

Es sei ${}V$ ein ${}{\mathbb {K} }$- Hilbertraum und sei ${}v_{i}$, ${}i\in I$, ein vollständiges Orthonormalsystem. Dann nennt man zu ${}v\in V$ die Darstellung

${}v=\sum _{i\in I}\left\langle v,v_{i}\right\rangle v_{i}\,$

die Fourierentwicklung von ${}v$ und die rechte Seite eine Fouriersumme. Die Koeffizienten ${}\left\langle v,v_{i}\right\rangle$ heißen Fourierkoeffizienten.

Im separablen Fall, wenn das vollständige Orthonormalsystem abzählbar ist und durch ${}v_{n}$, ${}n\in \mathbb {N}$, (oder ${}\mathbb {Z}$ als geordnete Indexmenge) gegeben ist, so nennt man die Darstellung

${}v=\sum _{n\in \mathbb {N} }\left\langle v,v_{n}\right\rangle v_{n}\,$

auch die Fourierreihe zu ${}v$ bezüglich des gegebenen Systems. Die Sprechweise wird insbesondere bei periodischen Funktionen der Periodenlänge ${}1$ mit dem trigonometrischen Orthonormalsystem verwendet, siehe insbesondere Satz 23.6. Bei anderer Periodenlänge ist der Sprachgebrauch nicht einheitlich.

Fußnoten

<< | Kurs:Maß- und Integrationstheorie (Osnabrück 2022-2023) | >> PDF-Version dieser Vorlesung Arbeitsblatt zur Vorlesung (PDF)