Kurs:Maschinelles Lernen/Ableitungen

Definiton

Die Ableitung einer stetigen Funktion $f(x)$ ist durch

 $f'\!(x)={\frac {\mathrm {d} f}{\mathrm {d} x}}=\lim _{\Delta x\to 0}{\frac {f(x+\Delta x)-f(x)}{\Delta x}}$

definiert. Sie erlaubt es, die momentane Steigung einer Funktion an der Stelle $x$ und somit die Tangente der Funktion durch den Punkt $(x,f(x))$ zu bestimmen. Der Differenzenquotient

 ${\frac {\Delta f}{\Delta x}}={\frac {f(x+\Delta x)-f(x)}{\Delta x}}$

bestimmt an der Stelle $x$ die Steigung der Sekante durch die Punkte $(x,f(x))$ und $(x+\Delta x,f(x+\Delta x))$ .

Als Beispiel soll die Funktion

 $f(x)=x^{2}$

betrachtet werden. Für diese lässt sich

 $\Delta f=f(x+\Delta x)-f(x)=(x+\Delta x)^{2}-x^{2}=x^{2}+2x\Delta x+(\Delta x)^{2}-x^{2}=\Delta x(2x+\Delta x)$

bestimmen. Wird der Differenzenquotient

 ${\frac {\Delta f}{\Delta x}}=2x+\Delta x$

gebildet, kann im Grenzfall $\Delta x\to 0$ die Ableitung

 $f'\!(x)=2x$

gefunden werden.

Aufgabe

Bestimme mittels Differenzenquotient die Ableitung der Funktion $f(x)=x^{3}$

Lösungen

Liste wichtiger Ableitungen

$f(x)$	$f'\!(x)$
$c\in \mathbb {R}$	$0$
$x$	$1$
$x^{2}$	$2x$
$x^{n}$	$n\cdot x^{n-1}$
$\mathrm {e} ^{x}$	$\mathrm {e} ^{x}$
$\mathrm {ln} (x)$	${\frac {1}{x}}$

Regeln

Ableitungen gehorchen den folgenden Regeln

Linearität $(a\cdot f(x)+b\cdot g(x))'=a\cdot f'\!(x)+b\cdot g'\!(x)$
Produktregel $(f(x)\cdot g(x))'=f'\!(x)\cdot g(x)+f(x)\cdot g'\!(x)$
Kettenregel $(f(g(x))'=f'\!(g(x))\cdot g'\!(x)$
Quotientenregel $\left({\frac {f(x)}{g(x)}}\right)={\frac {f'\!(x)\cdot g(x)-f(x)g'\!(x)}{(g(x))^{2}}}$
Umkehrfunktionen $(f^{-1}(x))'={\frac {1}{f'\!(f^{-1}(x))}}$

Die obenstehenden Regeln können aus der Definition der Ableitung hergeleitet werden. So kann beispielsweise für die Produktregel die Größe

 $\Delta (fg)=f(x+\Delta x)g(x+\Delta x)-f(x)g(x)=f(x+\Delta x)g(x+\Delta x)-f(x)g(x+\Delta x)+f(x)g(x+\Delta x)-f(x)g(x)$

gefunden und damit der Differenzenquotient

 ${\frac {\Delta (fg)}{\Delta x}}={\frac {f(x+\Delta x)-f(x)}{\Delta x}}g(x+\Delta x)+f(x){\frac {g(x+\Delta x)-g(x)}{\Delta x}}$

aufgestellt werden. Sind beide Funktionen differenzierbar, so existieren die Grenzwerte der beiden Brüche. Darüber hinaus ist eine Vorraussetzung für Differenzierbarkeit die Stetigkeit der Funktionen, so dass $g(x+\Delta x)$ gegen $g(x)$ konvergiert. Auf diese Weise kann im Grenzfall $\Delta x\to 0$ die Produktregel

 $(f(x)g(x))'=f'\!(x)g(x)+f(x)g'\!(x)$

gefunden werden.

Aufgaben

Bestimme $f'\!(x)$ für

$f(x)=(x-a)^{2}\quad \quad a\in \mathbb {R}$
$g(x)={\frac {1}{1+\mathrm {e} ^{-x}}}$
$h(x)=\mathrm {ln} (x^{2}-3\mathrm {e} ^{x})$

Lösungen

Extremstellen von Funktionen

Extremstellen einer Funktion beschreiben ein lokales Minimum oder Maximum einer Funktion. An einer Extremstelle ist die Ableitung der Funktion immer Null. Mit der zweiten Ableitung kann geprüft werden, ob es sich um ein Minimum oder Maximum handelt. Ist die zweite Ableitung auch Null, kann es sich um einen Sattelpunkt handeln. Zur Übersicht kann die folgende Tabelle helfen.

Art der Stelle	$f'\!(x)$	$f''\!(x)$
Maximum	$=0$	$<0$
Minimum	$=0$	$>0$
Sattelpunkt	$=0$	$=0$

Aufgabe

Bestimme das Paar $(x,f(x))$ für die Extremstelle der Funktion $f(x)=0{,}25x^{2}-0{,}5x-1{,}75$

Lösungen

Gradienten-Abstieg

Es ist nicht immer möglich, mit einfachen Mitteln die Lage einer Extremstelle zu ermitteln. Als Beispiel kann die Funktion

 $f(x)={\frac {1}{2}}x^{2}-\mathrm {e} ^{-x}$

betrachtet werden. Die Ableitung ist durch

 $f'\!(x)=x+\mathrm {e} ^{-x}$

gegeben und zum Finden der Nullstelle muss die Gleichung

 $x=\mathrm {e} ^{-x}$

gelöst werden. Mit elementaren Funktionen ist dies nicht möglich. (Tatsächlich kann diese Gleichung aber durch die eigens dafür definierte Lambert'sche W-Funktion gelöst werden)

Stattdessen kann ein iteratives Verfahren verwendet werden, um sich der Extremstelle zu nähern. Dazu wird an einem beliebigen Punkt $x_{0}$ gestartet. Häufig werden Probleme so formuliert, dass nur ein Minimum gesucht werden muss, und so soll es hier auch gemacht werden. Liegt $x_{0}$ leicht rechts eines Minimums, so ist die Steigung dort positiv. Liegt $x_{0}$ hingegen leicht links eines Minimums, so wird die Steigung dort negativ sein. Das Vorzeichen der Ableitung kann also verwendet werden, um die relative Lage eines neuen Punktes $x_{1}$ zu bestimmen. Dieser kann durch

 $x_{1}=x_{0}-\mathrm {sgn} (f'\!(x_{0}))\cdot \Delta x$

mit einer festzulegenden Schrittweite $\Delta x$ festgelget werden.

Würde die Schrittweite $\Delta x$ auf einen konstanten Wert gesetzt werden, so würden für große Entfernungen vom Minimum genauso große Schritte gemacht werden, wie für kleine Entfernungen. Darüber hinaus könnte das Minimum entweder per Zufall getroffen werden oder es wird sich eine alternierende Folge zwischen zwei Werten rechts und links des Minimums einstellen. Stattdessen ist es sinnvoll, zu bemerken, dass die Ableitung in der Nähe des Minimums betragsmäßig besonders kleine Werte annimmt. Wird $\Delta x$ also proportional zu $|f'(x_{0})|$ gewählt, so bleibt die Möglichkeit offen, dem Minimum beliebig nahe zu kommen. Auf diese Weise kann nach dem ersten Schritt die Stelle

 $x_{1}=x_{0}-\eta f'\!(x_{0})$

ermittelt werden. Die Proportionalitätskonstante $\eta$ wird im Rahmen des maschinellen Lernens als Lernrate bezeichnet und zählt zu den sogenannten Hyperparamtern.

Das Verfahren kann nun von der Stelle $x_{1}$ ausgehend wiederholt werden. Auf diese Weise lässt sich iterativ eine Folge von Stellen

 $x_{n+1}=x_{n}-\eta f'\!(x_{n})\quad \quad n\geq 0$

ermitteln, die bei geeigneter Wahl von $x_{0}$ und $\eta$ gegen die Lage des Minimums konvergieren sollte.

Da im Rahmen des maschinellen Lernens Funktionen mehrerer Variablen betrachtet werden, muss auch der Ableitungsbegriff erweitert werden. In diesem Zusammenhang wird der sogenannte Gradient eingeführt und bei diesem Verfahren vom Gradientenabstiegsverfahren gesprochen. Um einen ersten Eindruck dieses Verfahrens zu bekommen, können die GeoGebra-Datei Gradientenabstieg und das Jupyter Notebook Gradientenabstiegsverfahren betrachtet werden.