Kurs:Maschinelles Lernen

In dieser Lehrveranstaltung wollen wir uns mit den mathematischen Methoden und Algorithmen, auf denen das maschinelle Lernen basiert, auseinander setzen. Dazu zählen das Treffen von Vorhersagen durch Regressionsverfahren, das Erlernen von Entscheidungsregeln, die Grundlagen Neuronaler Netze sowie das Auffinden von zusammenhängenden Strukturen (Cluster) in Datensätzen. Neben den theoretischen Betrachtungen werden auch Beispiele an Hand von Jupyter Notebooks in der Programmiersprache Python untersucht und darin die gelernten Methoden implementiert. Die Veranstaltung beginnt mit einer Zusammenfassung der benötigten mathematischen Vorkenntnisse der Oberstufe und alle weiteren benötigte Kenntnisse werden davon ausgehend aufgebaut.

Kapitel 0 - Mathematische Vorkenntnisse

In diesem Kapitel werden einige grundlegende mathematische Methoden aufbereitet. Es wird dazu auf Konzepte aus der gymnasialen Oberstufe eingegangen und darauf aufgebaut. Zu den behandelten Themen zählen das Bilden von Ableitungen und Auffinden von Extremstellen, der Umgang mit Vektoren und das Beschreiben von Ebenen im Raum sowie den Abstand von Punkten zu diesen Ebenen. Dazu werden Matrizen und ihre Wirkung auf Vektoren diskutiert.

Kapitel 1 - Grundlagen des maschinellen Lernens

In diesem Kapitel werden einige grundlegende Begriffe des maschinellen Lernens vorgestellt und diskutiert.

Grundbegriffe des maschinellen Lernens
Trainingsdaten - (Foliensatz)
Künstliche Intelligenz - (Foliensatz)
Testdaten - (Foliensatz)

Kapitel 2 - Einfache Regressionsverfahren

In diesem Kapitel wird darauf eingegangen, wie sich mit den Methoden der linearen Regression einfache Modelle zur Vorhersage einer kontinuerlichen Ausgabevariable erstellen lassen. Dies wird auf höherdimensionale und nicht lineare Probleme durch Feature Engineering erweitert. In einem Jupyter Notebook werden die entsprchenden Themen abschließend implementiert und an konkreten Beispielen erprobt.

Lineare Regression in einer Dimension
Lineare Regression in d Dimension
Feature Engineering
Jupyter Notebook zu linearen Regressionen
Gradient - (Foliensatz)
Regressionsanalyse in R
Schätzfunktion - eindimensional
Mehrdimensionale lineare Regression - (Foliensatz)
- Rechenbeispiel - (Foliensatz) mehrdimensionale lineare Regression

Kapitel 3 - Klassifikationsverfahren

In diesem Kapitel werden die Grundlagen der Klassifikationsverfahren besprochen. Zunächst wird darauf eingegangen, wie dies durch einen einfachen Gradientenabstieg erfolgen kann und an einigen Beispielen mit einem Jupyter Notebook implementiert. Danach wird auf die spezielle Methode der Support Vector Machines eingegangen, die versuchen, eine möglichst gute Lösung im Versionspace zu finden.

Kapitel 4 - Neuronale Netze

In diesem Kapitel wird eine kleine Einführung in Neuronale Netze gegeben. Es wird behandelt, wie sie aufgebaut und mathematisch als eine Verkettung von Funktionen aufgefasst werden können. Auch wie sich Neuronale Netze ressourcenschonend durch Backpropagation trainieren lassen, soll hier behandelt werden. Schlussendlich werden die gelernten Konzepte in einem Jupyter Notebook an Beispielen erprobt.

Grundidee der Neuronalen Netze
Neuronale Netze trainieren
Jupyter Notebook zu Backpropagation Network
Kohonennetze / Selbstorganisierende Karte - (Foliensatz)

Kapitel 5 - Unüberwachtes Lernen

In diesem Kapitel soll nur die Clusteranalyse an Hand des k-Means- und DBSCAN-Algorithmus untersucht werden.

Zum Trainieren künstlicher Intelligenz bedarf es häufig großer Datenmengen. Rohe Daten ohne Label sind dabei wesentlich leichter zu beschaffen als Daten mit Labeln. Daher bietet es sich an, Algorithmen zu entwickeln, die in der Lage sind, zusammenhängende Strukturen (Cluster) in den Datenpunkten zu finden.

k-Means Algorithmus
DBSCAN
Jupyter Notebook zu Methoden der Clusteranalyse

KnitR zur Dokumentengenerierung

Die folgenden Folien beziehen sich auf die dynamische Dokumentengenerierung in KnitR.

KnitR/Computer Algebra in R - (Foliensatz)

Weiterführende Literatur

Hier soll eine kleine Auswahl an Lehrbüchern und weiteren Lernressourcen gegeben werden.

Bücher zu maschinellem Lernen

Data Science - Grundlagen, Statistik und maschinelles Lernen, Matthias Plaue, Springer Spektrum Berlin, (2021), [1]
Statistisches und maschinelles Lernen - Gängige Verfahren im Überblick, Stefan Richter, Springer Spektrum Berlin, (2019), [2]
Statistik und maschinelles Lernen - Eine mathematische Einführung in klassische und moderne Methoden, Mathias Trabs, Moritz Jirak, Konstantin Krenz, Markus Reiß, Springer Spektrum Berlin, (2021), [3]
Raul Rojas (1996) Neural Networks, Springer Verlag URL: https://www.inf.fu-berlin.de/inst/ag-ki/rojas_home/documents/1996/NeuralNetworks/neuron.pdf

Python Pakete

Tensorflow (EN) [4]
PyTorch (EN) [5]
Keras (EN) [6]

Siehe auch