Kurs:Mathematische Modellbildung/Themen/Stromerzeugung durch kinetische Energie/Gradientenabstiegsverfahren

Normierung des Richtungsvektors

Das vereinfachte Interationsverfahren bricht bei der Bedingung ab. Ansonsten wird der Richtungsvektor für den folgenden Iterationsschritt normiert:

$d^{(j)}:=-{\frac {Grad\left(f(x^{(j)})\right)}{\left\|Grad\left(f(x^{(j)})\right)\right\|}}$ mit Euklidischer Norm $\|x\|:=\|(x_{1},\ldots ,x_{n})\|:={\sqrt {\sum _{k=1}^{n}x_{k}^{2}}}$

Formal notiert man diesen Iterationsschritt wie folgt:

$x^{(j+1)}={\begin{cases}x^{(j)}+\alpha ^{(j)}d^{(j)},&{\text{wenn }}f(x^{(j)}+\alpha ^{(j)}d^{(j)})<f(x^{(j)}){\text{ }}{\text{ (Verbesserung) }}\\x^{(j)},&{\text{sonst }}\end{cases}}$

Festlegung der Schrittweite

Die Schrittweite wird so lange für den nächsten Iterationsschritt verwendet, bis sich die Kostenfunktion $f$ mit dem nachfolgende Schritt erhöht. In diesem einführenden Beispiel wird die Schrittweite $\alpha ^{(j)}$ halbiert. Formal

$\alpha ^{(j+1)}={\begin{cases}\alpha ^{(j)},&{\text{wenn }}f(x^{(j)}+\alpha ^{(j)}d^{(j)})<f(x^{(j)}){\text{ (Verbesserung) }}\\{\frac {\alpha ^{(j)}}{2}},&{\text{sonst }}\end{cases}}$

Schrittweitenverkleinerung

Die Schrittweitenverkleinerung kann allgemein auch durch einen Faktor $\delta$ mit $0<\delta <1$ über

$\alpha ^{(j+1)}:=\alpha ^{(j)}\cdot \delta$

ersetzt werden.

Dabei ist $\alpha ^{(j)}>0$ die Schrittweite im j-ten Iterationschritt. Diese Schrittweite muss in jedem Schritt des Iterationsverfahrens bestimmt werden. Hierfür gibt es im Allgemeinen unterschiedliche Möglichkeiten, wie die Rückführung der Schrittweitenbestimmung auf ein eindimensionales Optimierungsproblem. Die hier gewählte Schrittweitenoptimierung ist als Einführung in das Thema gewählt worden.

Quelle:

https://de.wikiversity.org/wiki/Gradientenabstiegsverfahren