Kurs:Maschinelles Lernen/Lineare Regression in einer Dimension

Vorherige Seite: K1 - Hypothesen aus Daten Ableiten
Nächste Seite : K2 - Lineare Regression in d Dimension

Für die Regression in einer Dimension ist gültig, Es wird zunächst davon ausgegangen, dass ein linearer Zusammenhang vorliegt, der das Aufstellen der Hypothese


erlaubt. Damit wird als Hypothesenraum der Raum der linearen Funktionen betrachtet, der isomorph zu ist. Das empirische Risiko wird bei Regressionen durch


bestimmt und soll minimiert werden. Dies bedeutet, dass die Ableitungen von nach bzw. verschwinden müssen. Durch das Lösen der Gleichungen können die idealen Parameter und bestimmt werden. Zu diesem Zweck bietet es sich an, einige statistische Größen zu definieren:

  • Der Mittelwert eines Satzes von Werten einer Größe ist durch definiert.
  • Die Varianz gibt die Streuung um den Mittelwert an und kann durch gefunden werden.
  • Liegen Werte zweier Größen und vor, so kann die Kovarianz definiert werden. Aus ihr wird häufig auch die Korrelation definiert. Im Fall wird von (linear) unkorrellierten Daten gesprochen, d.h. es besteht kein linearer Zusammenhang zwischen den Größen und . Nimmt positive bzw. negative Werte an, so wird von positiver bzw. negativer Korellation gesprochen. Das bedeutet, dass eine Größe steigt, während die andere steigt bzw. fällt.

Mit diesen Begriffen, lassen sich die idealen Gewichte


bestimmen.

Betrachte den Datensatz der folgenden Tabelle, der aus einer linearen Funktion mit Steigung   und  -Achsenabschnitt   mit einem gleichverteilten Rauschen der Amplitude  

Daten
   
   
   
   
   
   

Bestimme die Größen  ,  ,  ,  ,  ,  ,   und   bis auf zwei Nachkommastellen genau.

Lösungen