Kurs:Algorithmen und Datenstrukturen/Vorlesung/Mastertheorem

Startseite

Vorlesung

1.Einleitung

2. Theoretische Grundlagen

2.1 Programmierparadigmen

2.2. Laufzeitanalysen

2.3. Entwurfsmuster

3. Suchen

3.1 Suchen in sortierten Folgen

3.2 Suchen in Texten

4. Sortieren

4.1 Algorithmen für vergleichsbasiertes Sortieren

4.2 Weitere Sortierprobleme

5. Dynamische Datenstrukturen

5.1 Binäre Suchbäume

5.2 AVL Bäume

5.3 2-3-4-Bäume und Rot-Schwarz Bäume

5.4 Heaps

5.5 Hashtabellen

6. Graphen

6.1 Einführung

6.2 Breitensuche

6.3 Tiefensuche

6.4 Topologisches Sortieren

6.5 Berechnung kürzester Wege

6.6 Berechnung maximaler Flüsse

6.7 Spannbäume

7. Optimierung

7.1 Grundlagen

7.2 Kombinatorische Optimierung

7.4 Lineare Optimierung

7.5 Simplex Verfahren

Mastertheorem

Auf dieser Seite wird das Master Theorem behandelt. Die Mastermethode ist ein „Kochrezept“ zur Lösung von Rekursionsgleichungen der Form:

$T(n)=aT(n/b)+f(n)$ mit den Konstanten $a\geq 1~und~b>1$, f(n) ist eine asymptotische, positive Funktion, d.h. $f(n)>0\forall n>n_{0}$

• a steht dabei für die Anzahl der Unterprobleme.

• n/b ist die Größe eines Unterproblems

• T(n/b) ist der Aufwand zum Lösen eines Unterproblems (der Größe n/b)

• f(n) ist der Aufwand für das Zerlegen und Kombinieren in bzw. von Unterproblemen

Bei der Mastermethode handelt es sich um ein schnelles Lösungsverfahren zur Bestimmung der Laufzeitklasse einer gegebenen rekursiv definierten Funktion. Dabei gibt es 3 gängige Fälle:

• Fall 1: Obere Abschätzung
• Fall 2: Exakte Abschätzung
• Fall 3: Untere Abschätzung

Lässt sich keiner dieser 3 Fälle anwenden, so muss die Komplexität anderweitig bestimmt werden und wir müssen Voraussetzungen für die Anwendung des Mastertheorems überprüfen.

Dafür vergleicht man $f(n)$ mit $n^{log_{b}a}$. Wir verstehen n/b als $\llcorner n/b\lrcorner ~oder~\ulcorner n/b\urcorner$. Im Folgenden verwenden wir die verkürzte Notation $log_{2}n~als~ld~n$.

Fall 1

Wenn $f(n)\in O(n^{log_{b}a-\epsilon }){\text{für ein }}\epsilon >0$. Daraus folgt, dass f(n) polynomiell langsamer wächst als $n^{log_{b}a}$ um einen Faktor $n^{\epsilon }$. Damit haben wir die Lösung $T(n)=\Theta (n^{log_{b}a})$.

Fall 2

Wenn $f(n)\in \Theta (n^{log_{b}a}\cdot ld^{k}n){\text{für ein }}k\geq 0$. Daraus folgt, dass f(n) und $n^{log_{b}a}\cdot ld^{k}n$ vergleichbar schnell wachsen. Damit haben wir die Lösung $T(n)=\Theta (n^{log_{b}a}\cdot ld^{k+1}n)$.

Fall 3

Wenn $f(n)\in \Omega (n^{log_{b}a+\epsilon }){\text{für ein }}\epsilon >0$ und die Regularitätsbedingung $a\cdot f(n/b)\leq c\cdot f(n)$ für eine Konstante $c\in (0,1)$ und genügend große n erfüllt. Daraus folgt, dass f(n) polynomiell schneller wächst als $n^{log_{b}a}$ um einen Faktor $n^{\epsilon }$ und f(n) erfüllt die sogenannte Regularitätsbedingung. Damit haben wir die Lösung $T(n)\in \Theta (f(n))$.

Bedeutung

In jedem Fall vergleichen wir f(n) mit $n^{lob_{b}a}$. Intuitiv kann man sagen, dass die Lösung durch die größere Funktion bestimmt wird. Im zweiten Fall wachsen sie ungefähr gleich schnell. Im ersten und dritten Fall muss f(n) nicht nur kleiner oder größer als $n^{lob_{b}a}$ sein, sondern auch polynomiell kleiner oder größer um einen Faktor $n^{\epsilon }$. Der dritte Fall kann nur angewandt werden, wenn die Regularitätsbedingung erfüllt ist.

Regularitätsbedingung

Doch wozu wird die Regularitätsbedingung benötigt? Zur Erinnerung, im dritten Fall dominiert f(n) das Wachstum von T(n). Wir müssen an dieser Stelle sicherstellen, dass auch bei rekursivem Anwenden, also wenn die Argumente kleiner werden, T(n) von f(n) dominiert wird. Veranschaulicht heißt das:

$T(n)=aT(n/b)+f(n)$

$=a(aT(n/b^{2})+f(n/b))+f(n)$

$=a^{2}T(n/b^{2})+af(n/b)+f(n)$

für $af(n/b)\leq cf(n)(c\in (0,1))$ Das Wachstum muss durch f(n) dominiert werden und darf f(n) nicht dominieren.

Die Regularitätsbedingung gilt wenn sie für f(n) und g(n) gilt auch für $f(n)\cdot g(n)$ und auch für $f(n)+g(n)$

Nachweis für $f(n)\cdot g(n)$

Voraussetzung ist, dass die Regularitätsbedingung für f(n) und g(n) gilt, d.h.:

$\exists c_{1}\in (0,1),\exists n_{1}\in \mathbb {N} ~\forall n\geq n_{1}:af(n/b)\leq c_{1}f(n)$

$\exists c_{2}\in (0,1),\exists n_{2}\in \mathbb {N} ~\forall n\geq n_{2}:ag(n/b)\leq c_{2}g(n)$

Für $(f\cdot g)(n)$ gilt:

$a(f\cdot g)(n/b)=af(n/b)\cdot ag(n/b)$

man wählt $c=c_{1}\cdot c_{2}\in (0,1)$

und $n_{0}=max~\{n_{1},n_{2}\}$

$\forall n\geq n_{0}:af(n/b)\cdot ag(n/b)\leq c_{1}f(n)\cdot c_{2}g(n)=c(f\cdot g)(n)$

Nachweis für $f(n)+g(n)$

Voraussetzung ist, dass die Regularitätsbedingung für f(n) und g(n) gilt, d.h.:

$\exists c_{1}\in (0,1),\exists n_{1}\in \mathbb {N} ~\forall n\geq n_{1}:af(n/b)\leq c_{1}f(n)$

$\exists c_{2}\in (0,1),\exists n_{2}\in \mathbb {N} ~\forall n\geq n_{2}:ag(n/b)\leq c_{2}g(n)$

Für $(f+g)(n)$ gilt:

$a(f+g)(n/b)=af(n/b)+ag(n/b)$

man wählt $c=max~\{c_{1},c_{2}\}$

und $n_{0}=max~\{n_{1},n_{2}\}$

$\forall n\geq n_{0}:af(n/b)+ag(n/b)\leq c_{1}f(n)+c_{2}g(n)\leq c(f+g)(n)$

Überblick

Ist T(n) eine rekursiv definierte Funktion der Form

$T(n)=aT(n/b)+f(n)~mit~a\geq 1,b>1,\forall n>n_{0}:f(n)>0$

Dann gilt:

• 1. Fall: Wenn $f(n)\in O(n^{log_{b}a-\epsilon })~{\text{für ein }}\epsilon >0~dann~T(n)=\Theta (n^{log_{b}a})$
• 2. Fall: Wenn $f(n)\in \Theta (n^{log_{b}a}\cdot ld^{k}n)~{\text{für ein }}k\geq 0~dann~T(n)=\Theta (n^{log_{b}a}\cdot ld^{k+1}n)$
• 3. Fall: Wenn $f(n)\in \Omega (n^{log_{b}a+\epsilon })\ {\text{für ein}}\ \epsilon >0$ und $a\cdot f(n/b)\leq c\cdot f(n)\ {\text{für eine Konstante }}c\in (0,1)$ und genügend große n dann $T(n)=\Theta (f(n))$

Idee

Wir haben folgenden Rekursionsbaum:

Auf der ersten Ebene ist der Aufwand f(n), auf der zweiten Ebene $af(n/b)$ und auf der dritten Ebene $a^{2}f(n/b^{2})$. Die Höhe des Baumes beträgt $h=log_{b}n$. Die Anzahl der Blätter berechnet sich durch $a^{h}$ und beträgt somit $a^{log_{b}n}=n^{log_{b}a}$.

Fall 1: Das Gewicht wächst geometrisch von der Wurzel zu den Blättern. Die Blätter erhalten einen konstanten Anteil des Gesamtgewichts.

$\Theta (n^{log_{b}a})$

Fall 2: k ist 0 und das Gewicht ist ungefähr das Gleiche auf jedem der $log_{b}a$ Ebenen.

$\Theta (n^{log_{b}a}\cdot ld~n)$

Fall 3: Das Gewicht reduziert sich geometrisch von der Wurzel zu den Blättern. Die Wurzel erhält einen konstanten Anteil am Gesamtgewicht.

$\Theta (f(n))$

Beispiel 1

$T(n)=4T(n/2)+n$

$a=4,b=2\Rightarrow n^{log_{b}a}=n^{log_{2}4}=n^{2}$

$f(n)=n$

Fall 1: $f(n)\in O(n^{2-\epsilon }){\text{für }}\epsilon >0$

$\Rightarrow T(n)=\Theta (n^{2})$

Beispiel 2

$T(n)=4T(n/2)+n^{2}$

$a=4,b=2\Rightarrow n^{log_{b}a}=n^{log_{2}4}=n^{2}$

$f(n)=n^{2}$

Fall 2: $f(n)\in \Theta (n^{2}~ld^{k}~n)\ {\text{für }}k=0$

$\Rightarrow T(n)=\Theta (n^{2}~ld~n)$

Beispiel 3

$T(n)=4T(n/2)+n^{3}$

$a=4,b=2\Rightarrow n^{log_{b}a}=n^{log_{2}4}=n^{2}$

$f(n)=n^{3}$

Fall 3: $f(n)\in \Omega (n^{2+\epsilon }){\text{für }}\epsilon >0$

und $4({\frac {n}{2}})^{3}\leq cn^{3}$ (Regularitätsbedingung)

für $c={\frac {1}{2}}$

$\Rightarrow T(n)=\Theta (n^{3})$

Beispiel 4

$T(n)=4T(n/2)+{\frac {n^{2}}{log~n}}$

$a=4,b=2\Rightarrow n^{log_{b}a}=n^{log_{2}4}=n^{2}$

$f(n)={\frac {n^{2}}{log~n}}$

Welcher Fall liegt nun vor? Das Mastertheorem kann an dieser Stelle nicht benutzt werden, da

• 1. Fall $f(n)\notin O(n^{2-\epsilon })$
• 2. Fall $f(n)\notin \Theta (n^{2}\cdot ld^{k}~n){\text{ für }}k\geq 0$
• 3. Fall $f(n)\notin \Omega (n^{2+\epsilon })$

Nützliche Hinweise

• Basisumrechnung

$log_{b}x={\frac {log_{a}x}{log_{a}b}}\Rightarrow O(log_{b}x)=O(log_{a}x)$

• de L'Hospital

$lim_{x\to \infty }{\frac {f(x)}{g(x)}}=lim_{x\to \infty }{\frac {f'(x)}{g'(x)}}$

• Vergleiche Logarithmus vs. Polynom

$lim_{x\to \infty }log_{b}x=\infty$

$lim_{x\to \infty }x^{\epsilon }=\infty \ {\text{ für }}\epsilon >0$

$lim_{x\to \infty }{\frac {log_{b}x}{x^{\epsilon }}}=lim_{x\to \infty }{\frac {(log_{b}x)'}{(x^{\epsilon })'}}=lim_{x\to \infty }{\frac {\frac {1}{x}}{\epsilon x^{\epsilon -1}}}$ $=lim_{x\to \infty }{\frac {1}{x\epsilon x^{\epsilon -1}}}=lim_{x\to \infty }{\frac {1}{\epsilon x^{\epsilon }}}=0{\text{ für }}\epsilon >0$