Kurs:Maschinelles Lernen/Feature Engineering

Vorherige Seite: K2 - Lineare Regression in d Dimension
Nächste Seite : K3 - Klassifikation mittels Gradientenabstieg

Das Feature Engineering ist eine spezielle Methode, die vor allem bei Klassifikationen verwendet wird, aber auch am Beispiel der Regressionen erklärt werden kann. Ziel ist es, auch komplexere Hypothesen durch eine lineare Regression modellieren zu können.

Als Beispiel können dazu für $X=Y=\mathbb {R}$ polynominelle Hypothesen des Grades $g$ betrachtet werden. Diese können durch den Parametervektor ${\vec {w}}\in \mathbb {R} ^{g+1}$ mit

$h_{\vec {w}}(x)=w_{0}+\sum _{k=1}^{g}w_{k}x^{k}=\sum _{k=0}^{g}w_{k}x^{k}$

beschrieben werden. Dies entspricht dann aber der Form eines linearen Modells mit dem Inputvektor ${\vec {z}}\in \mathbb {R} ^{g}$ für dessen Komponenten $z_{k}=x^{k}$ gilt. Für einen vorliegenden Datensatz mit $N$ Datenpunkten kann so die erweiterte Datenmatrix

${\underline {Z}}'={\begin{pmatrix}1&x_{1}&x_{1}^{2}&\cdots &x_{1}^{g}\\1&x_{2}&x_{2}^{2}&\cdots &x_{2}^{g}\\\vdots &\vdots &\ddots &\vdots \\1&x_{N}&x_{N}^{2}&\cdots &x_{N}^{d}\end{pmatrix}}$

aufgestellt werden und mit dem Verfahren der linearen Regressionen in $d$ Dimensionen mit $d=g$ die idealen Parameter ${\hat {\vec {w}}}$ gefunden werden. Durch die Abbildung

$\phi :X\to \mathbb {R} ^{g},\,\,x\mapsto {\begin{pmatrix}x&x^{2}&\cdots &x^{g}\end{pmatrix}}^{T}$ 

wird es so möglich auch nicht lineare Hypothesen aus dem Hypothesenraum $H_{\mathrm {poly} (g)}$ der Polynome vom Grad $g$ mittels einer linearen Regression zu lösen.

Eine solche Abbilung, die allgemeiner durch

$\phi :X\to \mathbb {R} ^{n}$

mit typischer weise $n>\mathrm {dim} (X)$ wird als Feature Map bezeichnet. Sie erlauben es, auch komplexe Hypothesen auf eine lineare Regression zurückzuführen.

Meistens wird mit einer Feature Map nur die Eingabe aus dem Raum $X$ transformiert. Es ist aber prinzipiell auch möglich auf die Ausgabe eine Feature Map anzuwenden. Ein typisches Beispiel kommt aus dem Bereich der Physik. Dort liegen zwischen Eingabe $x$ und Ausgabe $y$ häufig Zusammenhänge in der Form eines Potenzgesetzes der Form

$y=Cx^{a}$

vor. Durch das Anwenden des natürlichen Logarithmus auf beiden Seiten, lässt sich dieser auch durch die lineare Gleichung

$\ln {(y)}=\ln {(C)}+a\ln {(x)}$

in den Größen $\ln {(x)}$ und $\ln {(y)}$ umformen. Damit würden hier die Feature Maps

$\phi _{x}(x)=\ln {(x)}$

und

$\phi _{y}(y)=\ln {(y)}$

vorliegen.

In der Praxis besteht die Schwierigkeit häufig in der geeigneten Wahl einer solchen Feature Map. Im Rahmen von Neuronalen Netzen können diese obsolet werden, da tiefere Netze häufig ähnliche oder bessere Ergebnisse, wie weniger tiefe Netze mit Feature Maps erzielen.