Einführung

Bearbeiten

Maschinelles Lernen (ML) ist ein Oberbegriff für die „künstliche“ Generierung von Wissen aus Erfahrung: Ein künstliches System lernt aus Beispielen und kann diese nach Beendigung der Lernphase verallgemeinern.

Lerneinheiten

Bearbeiten

Lerneinheiten gliedern sich die Betrachtung von

  • Klassen maschinellen Lernens
  • Lernalgorithmen und Lernregeln

Klassen maschinellen Lernens

Bearbeiten

Trainingsdaten / Testdaten

Bearbeiten

Beim maschinellen Lernen unterscheidet man

Lernalgorithmen und Lernregeln

Bearbeiten


 

Zeitliche Veränderung eines Systems

Bearbeiten

In dem Begriff "Maschinelles Lernen" eines System   steckt bereits eine zeitliche Veränderung des Systems in der Zeit. In der folgenden Lernressource wird daher ein Maschinelles Lernsystem (kurz ML-System)   mit einem Zeitindex   versehen, das den Zustand des ML-Systems   zum Zeitpunkt  .

Maschinelles Lernen als Funktionenfolge

Bearbeiten

In dieser Lernressource wird Maschinelles Lernen (ML) als eine Funktionenfolge   betrachtet, das sich in der Zeit   verändert.   ist zu jedem Zeitpunkt   eine Abbildung von einem Definitionsbereich   in den Wertebereich  .

Verallgemeinerungsfähigkeit

Bearbeiten

Ein künstliches System, das aus Beispielen lernt, kann "verallgemeinern", wenn nicht nur für die Trainingsdaten (z.B. Ein-Ausgabepaare   aus dem Ein-Ausgabegrundraum) korrekt Ausgaben produziert werden, sondern auch für neue unbekannte Eingaben korrekte bzw. akzeptabel gute Ausgaben produziert werden.


Überwachtes Lernen

Bearbeiten

Wenn man Ein-Ausgabepaare   als Trainingsdaten verwendet, spricht man von überwachtem Lernen. Die   entspricht den erwarteten/empfohlenen Ausgaben einer "lehrenden" bzw. trainierenden Instanz. In der Trainingsphase bekommt das System   Daten der Form der Ein-Ausgabepaare   und in der Testphase.

Unüberwachtes Lernen

Bearbeiten

Wenn man lediglich Eingaben   eine System als Trainingsdaten verwendet, spricht man von unüberwachtem Lernen. Die   entspricht den erwarteten/empfohlenen Ausgaben einer "lehrenden" bzw. trainierenden Instanz.

Bestärkendes Lernen

Bearbeiten

Das bestärkende Lernen ist ein Bereich des maschinellen Lernens, der sich mit der Frage beschäftigt, wie Agenten in einer Umgebung agieren sollten, um einen bestimmten Wert der kumulierten Belohnung zu maximieren.[1][2] Aufgrund seiner Allgemeingültigkeit wird dieses Gebiet auch in vielen anderen Disziplinen untersucht, z. B. in der Spieltheorie, der Kontrolltheorie, dem Operations Research, der Informationstheorie, der simulationsbasierten Optimierung, den Multiagentensystemen, der Schwarmintelligenz, der Statistik und den genetischen Algorithmen. Beim maschinellen Lernen wird die Umgebung normalerweise als Markov-Entscheidungsprozess (MDP) dargestellt. Viele Algorithmen des Verstärkungslernens verwenden Techniken der dynamischen Programmierung.[3] Verstärkungslernalgorithmen setzen keine Kenntnis eines exakten mathematischen Modells des MDP voraus und werden eingesetzt, wenn exakte Modelle nicht durchführbar sind. Verstärkungslernalgorithmen werden in autonomen Fahrzeugen oder beim Lernen eines Spiels gegen einen menschlichen Gegner eingesetzt.

Fehler und deren Optimierung durch Lernen

Bearbeiten

Zunächst einmal ist die Quantifzierung von Fehlern ein wesentliches Merkmal numerischer Ansätze für die Optimierung von Systemen. Dazu benötigt man grundlegende Definitionen einer Abweichung von Trainingsdaten.

Fehlermaße

Bearbeiten

 

Normen, Metriken, Topologie

Bearbeiten

In der Mathematik liefern Normen, Metriken oder Gaugefunktionale in der Topologie Messinstrumenten, um auf gegeben Räumen Fehler oder Abweichungen zu messen.

Definition - Metrischer Ausgabefehler für Maschinelles Lernen

Bearbeiten

Sei   ein maschineller Lernprozess und   ein metrischer Raum. Ein Augabefehler zum Zeitpunkt   für die Eingabe   für ein zugehöriges Trainingsdatum   ist als metrischer Abstand   definiert.

Bemerkung - Metrischer Ausgabefehler für Maschinelles Lernen

Bearbeiten

Mit dem Abstand   zwischen der zum Zeitpunkt   generierten Ausgabe   zu   wird die Distanz zum Sollwert   gemessen. Das lernenden System   verändert seine Ausgabeverhalten mit der Zeit. Der Ausgabefehler für   wird zwischen   kleiner, wenn gilt:

 

Dies bedeutet, dass der Abstand zum Sollwert   zu einem späteren Zeitpunkt   sich verbessert hat.

Optimierung des metrischen Ausgabefehler für Maschinelles Lernen

Bearbeiten

Die metrische Optimierung des Ausgabefehlers erfolgt aber nicht für einen singulären Eingabewert   bzw. für ein Ein-Ausgabepaar  , sondern in der Regel für eine endliche Testmenge   mit  . Die Ein-Ausgabepaare   verwendet man dabei nicht für das Training des Maschinellen Lernsystems  , sondern für der Test der Güte der Ausgabe von   bei unbekannten Ein-Ausgabepaaren aus  .

Definition - Metrischer Fehlervektor für Maschinelles Lernen

Bearbeiten

Sei   ein maschineller Lernprozess und   ein metrischer Raum. Ein metrischer (Augabe-)Fehlervektor zum Zeitpunkt   für eine endliche Testmenge   mit   ist ein Vektor

  definiert.

Definition - Fehlervektornorm für Maschinelles Lernen

Bearbeiten

Sei   der Raum der endlichen Folgen in   und   eine Norm auf  . Ferner sei ein Fehlervektor eines Maschinellen Lernprozesses   gegeben.

 

definiert. Die Fehlervektornorm von   ist dann   mit  .

Bemerkung - Fehlervektornorm für Maschinelles Lernen

Bearbeiten

Eine Norm   ist auf einem Vektorraum   definiert. Die Fehlervektornorm muss für unterschiedliche Trainingsdatenlängen definiert sein. Daher bettet man die Fehlervektoren   in umgekehrter Reihenfolge in den Folgenraum   ein.

Bemerkung - Neue Trainingsdaten für Maschinelles Lernen

Bearbeiten

Wird ein neues Ein-Ausgabepaar   zum Testdatensatz   ergänzt, so ergibt sich:   Die Ergänzung von links ist hilfreich, um die Alterung von Daten bei einem Rechtsshift der Einträge innerhalb der Norm zu kodieren.

Alterung von Daten - erste Schritte

Bearbeiten

Für die Alterung von Daten betrachten man zunächst erste Schritte, die dann zu Verallgemeinerungen führen, die mit einem Skalarprodukt auf Folgenräumen ausgedrückt werden können. Zunächst einmal sollen aktuelle Daten mit einem Faktor 1 gewichtet werden und qualitativ bei älteren Daten die Gewichtung gegen 0 konvergieren. Dazu betrachten wir eine monoton fallende Alterungsfolge in   (siehe Folgenräume).

Beispiel - Alterung von Daten

Bearbeiten

  definiert eine Alterung auf den Daten.

Trainings- und Testdaten mit Zeitstempel

Bearbeiten

Als Trainingsdaten betrachtet man Ein-Ausgabepaare   aus dem Kartesischen Produkt Ein-Ausgabegrundraum und der Zeitmenge  . Der zusätzlich Zeitstempel für Trainingsdaten ist nun dann notwendig, wenn man das Alter der Trainingsdaten im Lernprozess berücksichtigen möchten. Ansonsten wählt man Trainings- und Testdaten für den maschinellen Lernprozess aus  .

Bemerkung - Überwachtes Lernen

Bearbeiten

In dem obigen Annahmen geht man davon aus, dass ein überwachtes maschinelles Lernen verwendet wird und damit Sollwerte   zu Eingabewerten  . In einem unüberwachten Lernprozess bestehen die Trainingsdaten nur aus Daten  . Die wird auch ein Kriterium sein, überwachtes und unüberwachtes Lernen bzgl. machinellen Lernalgorithmen   zu unterscheiden.

Änderung der Wichtung über die Zeit

Bearbeiten

Wenn die Alterung von Trainingsdaten beim maschinellen Lernprozess berücksichtigt werden, kann man die Wichtung dynamisch bzgl. der aktuellen Zeit berechnen. Eine mögliche Option wäre bei einem aktuellen Zeitpunkt   mit   und  :

 

Für   setzt man  . In dem obigen Term bestimmt  , wie stark die Wichtung mit wachsendem Alter gegen 0 konvergiert.

Vorteil bzgl. Umordnung der Trainings- bzw. Testdaten

Bearbeiten

Mit einem berechneten Wichtungsvektors   aus dem Alter der Trainingsdaten entfällt die Umordung. Insbesondere beim Online-Learning, bei dem kontinuierlich neue Trainingsdaten im Lernprozess z.B. eines künstlichen neuronalen Netzes berücksichtigt werden.

Aufgabe - Fehlervektornorm für Maschinelles Lernen

Bearbeiten

Definieren Sie eine Fehlernorm auf  , die den Fehler bei älteren Daten weniger stark gewichtet! Welche Eigenschaften sollten die Wichtungen der Fehlernorm aufweisen?

Beispiel - lernfähiger Fuzzy-Controller

Bearbeiten

Betrachten Sie einen lernfähigen Fuzzy-Controller für eine Klimaanlage, der aus dem Regelungsverhalten der Personen im Raum erlernt, wann es den Personen zu warm oder zu kalt ist.

  •   mit   und   als Temperaturintervall.
  •   ist das Regelungsintervall am Heizkörper. 0 entspricht geschlossen und 1 entspricht der wärmsten Einstellung am Regler.

Diskrete Trainingsdaten

Bearbeiten

Wählen Sie in einer Tabellenkalkulation diskrete Trainingsdaten   und rekonstruieren Sie daraus die Zugehörigskeitsfunktion für einen Fuzzy-Controller, der beschreibt, wann eine Temperatur für die Person in dem Raum angenehm ist.

Aufgabe - Optimierung bzgl. Nachhaltigkeit

Bearbeiten

Klimaanlagen benötigen viel Energie. Wie kann man das Regelungsverhalten optimieren, wenn man gleichzeitig weiß, wie viele Personen sich in einem Raum über den Tag bzw. im zeitlichen Verlauf befinden? Benennen Sie zunächst die Voraussetzung für den Definitionsbereich  , wenn weitere inhaltliche Aspekte mit der Fuzzy-Zugehörigkeitsfunktion repräsentiert werden sollen! Welche fuzzy-logischen Operationen sind dafür notwendig.

Animation eines Lernprozesses

Bearbeiten

 

Mathematisches Grundkonzept für das Maschinelle Lernen

Bearbeiten

Dazu basieren Algorithmen beim maschinellen Lernen auf einem statistischen oder numerischen Modell, das mit Trainingsdaten "gefüttert" und ggf. mit Testdaten auf Güte getestet wird.

Mustererkennung - Erkennung von Gesetzmäßigkeiten

Bearbeiten

Beim maschinellen Lernen werden nicht einfach die Beispiele auswendig gelernt, sondern Muster und Gesetzmäßigkeiten sollen in den Lerndaten erkannt werden, damit durch die Lernphase diese Gesetzmäßigkeiten von dem System auch unbekannte Eingabedaten angewendet werden kann (siehe auch Lerntransfer).

Überanpassung - Overfitting

Bearbeiten

In der Regel wird durch das Maschinelle Lernen das lernfähige System auf den Trainingsdaten immer besser. Dieser Verbesserung wird z.B. durch numerische Verfahren, wie dem Gradientenabstiegsverfahren) generiert, mit dem man eine Fehlerfunktion schrittweise weiter minimiert. Dabei tritt das Phänomen der Überanpassung) auf.

Trainingsdaten

Bearbeiten

Auf den Trainingsdaten, die das lernfähige System für den maschinellen Lernprozess erhält, werden die Fehler in der Ausgabe geringer.

Testdaten

Bearbeiten

Auf den Testdaten, die das lernfähige System für den maschinellen Lernprozess keinen Zugriff. Die Testdaten dienen der Überprüfung der "Verallgemeinerungsfähigkeit" des lernfähigen Systems. Werden die Fehler in der Ausgabe nach einer gewissen Trainingszeit auf der Testmenge wieder signifikant schlechter, spricht man vom einer Überanpassung (engl. overfitting).[4][5]

Anwendungen

Bearbeiten

Aus dem weiten Spektrum möglicher Anwendungen seien hier genannt:

Zusammenhang - Data Mining und Knowledge Discovery

Bearbeiten

Das Thema ist eng verwandt mit „Knowledge Discovery in Databases“ und „Data-Mining“, bei dem es jedoch vorwiegend um das Finden von neuen Mustern und Gesetzmäßigkeiten geht. Viele Algorithmen können für beide Zwecke verwendet werden.

Von Knowledge Discovery zu Maschinellem Lernen

Bearbeiten

Methoden der „Knowledge Discovery in Databases“ können genutzt werden, um Lerndaten für „maschinelles Lernen“ zu produzieren oder vorzuverarbeiten. Die Qualtität der Ausgaben von lernfähigen Systemen hängt maßgeblich von der Qualtiät der Trainingsdaten ab. Daher können Methoden der Erkennung von Wissens zur Qualitätsverbesserung der Ausgaben vom lernfähigen Systemen beitragen.

Maschinelles Lernen für Data Mining

Bearbeiten

Die Herausforderung in heutiger Zeit ist es, aus großen Wissen und Entscheidungsunterstützung abzuleiten. Wachsen die Datenmengen wird der Rechenaufwand größer und damit kommt man an Grenzen, in akzeptabler Zeit einen großen Suchraum zu analysieren. Hauptziel dabei ist es, einerseits den Berechnungsaufwand in einer Weise zu reduzieren, der andererseits keinen zu großen Einfluss auf die Güte der Ergebnisse hat. Also mit weniger Suchaufwand nahezu die gleiche Güte der Suchergebnisse zu behalten.

Symbolische und nicht-symbolische Ansätze

Bearbeiten

Beim maschinellen Lernen spielen Art und Mächtigkeit der Wissensrepräsentation eine wichtige Rolle. Man unterscheidet zwischen symbolischen Ansätzen und nicht-symbolischen Ansätzen.

Symbolische Ansätze

Bearbeiten

Bei symbolischen Ansätzen wird das Wissen – sowohl die Beispiele als auch die induzierten Regeln – explizit repräsentiert ist. Diese Regelsystemen können z.B. Fuzzy-Regelsysteme, bei denen die Gültigkeit einer Regel oder eines linguistischen Wertes durch einen maschinellen Lernprozess festgelegt werden.

Ein Spezialfall der Fuzzylogik sind symbolischen Ansätzen aus der AussagenlogikB und Prädikatenlogil. Vertreter der ersteren sind ID3 und sein Nachfolger C4.5. Letztere werden im Bereich der induktiven logischen Programmierung entwickelt.

Statistische Inferenz

Bearbeiten

Das Schließen von Daten auf (hypothetische) Modelle wird als Statistische Inferenz bezeichnet.


Nicht-symbolische Ansätze

Bearbeiten

Bei nicht-symbolischen Ansätzen, wie z.B. neuronalen Netzen, wird durch einen maschinellen Lernprozess ein berechenbares Verhalten „antrainiert“. Dabei geht es um eine möglichst gute Vorhersage von einem Systemverhalten durch das lernfähige System. Gütekriterium ist dabei die Vorhersagegüte. Dieses Vorgehen erlaubt jedoch keinen Einblick in die erlernten Lösungswege und ggf. vorhandene interne Regelsystem, das das Verhalten bestimmt. In einem solchen Fall wird das Wissen implizit repräsentiert.[6]

Deep Learning

Bearbeiten

Zu unterscheiden ist der Begriff zudem von dem Begriff „Deep Learning“, welches nur eine mögliche Lernvariante mittels künstlicher neuronaler Netze darstellt.

Hybride Ansätze

Bearbeiten

Bei hybdriden Ansätzen des maschinellen Lernens werden symbolische und nicht-symbolische Ansätze miteinander verbunden. Dies kann beispielsweise durch Neuro-Fuzzy-Systeme[7] erfolgen, bei denen die symbolische Ansätze durch Fuzzy-Regelsysteme abgedeckt werden und die nicht-symbolischen Ansätze durch neuronale Netze.

Algorithmische Ansätze

Bearbeiten

Die praktische Umsetzung geschieht mittels Algorithmen. Verschiedene Algorithmen aus dem Bereich des maschinellen Lernens lassen sich grob in drei Gruppen einteilen:[8] überwachtes Lernen (englisch supervised learning), unüberwachtes Lernen (englisch unsupervised learning) und bestärkendes Lernen (engl. reinforcement learning).

Automatisches Maschinelles Lernen

Bearbeiten

Automatisches maschinelles Lernen automatisiert viele Schritte des maschinellen Lernens.

Literatur

Bearbeiten
  • Sebastian Raschka, Vahid Mirjalili (2017) Machine Learning mit Python und Scikit-Learn und TensorFlow: Das umfassende Praxis-Handbuch für Data Science, Predictive Analytics und Deep Learning URL: https://books.google.com/books?id=JM5CDwAAQBAJ - Date: 13. Dezember 2017, MITP-Verlags GmbH & Co. KG, 978-3-95845-735-5
  • Andreas C. Müller, Sarah Guido: Einführung in Machine Learning mit Python. O’Reilly-Verlag, Heidelberg 2017, ISBN 978-3-96009-049-6.
  • Christopher M. Bishop: Pattern Recognition and Machine Learning. Information Science and Statistics. Springer-Verlag, Berlin 2008, ISBN 978-0-387-31073-2.
  • David J. C. MacKay: Information Theory, Inference and Learning Algorithms. Cambridge University Press, Cambridge 2003, ISBN 978-0-521-64298-9 (Online).
  • Trevor Hastie, Robert Tibshirani, Jerome Friedman: The Elements of Statistical Learning. Data Mining, Inference, and Prediction. 2. Auflage. Springer-Verlag, 2008, ISBN 978-0-387-84857-0 (stanford.edu [PDF]).
  • Thomas Mitchell: Machine Learning. Mcgraw-Hill, London 1997, ISBN 978-0-07-115467-3.
  • D. Michie, D. J. Spiegelhalter: Machine Learning, Neural and Statistical Classification. In: Ellis Horwood Series in Artificial Intelligence. E. Horwood Verlag, New York 1994, ISBN 978-0-13-106360-0.
  • Richard O. Duda, Peter E. Hart, David G. Stork: Pattern Classification. Wiley, New York 2001, ISBN 978-0-471-05669-0.
  • David Barber: Bayesian Reasoning and Machine Learning. Cambridge University Press, Cambridge 2012, ISBN 978-0-521-51814-7.
  • Arthur L. Samuel (1959): Some studies in machine learning using the game of checkers. IBM J Res Dev 3:210–229. doi:10.1147/rd.33.0210.
  • Alexander L. Fradkov: Early History of Machine Learning. IFAC-PapersOnLine, Volume 53, Issue 2, 2020, Pages 1385-1390, doi:10.1016/j.ifacol.2020.12.1888.
Bearbeiten

Siehe auch

Bearbeiten
  Commons: Maschinelles Lernen – Sammlung von Bildern, Videos und Audiodateien

Einzelnachweise

Bearbeiten
  1. Richard S. Sutton: Reinforcement learning : an introduction. Second edition Auflage. Cambridge, Massachusetts 2018, ISBN 978-0-262-03924-6.
  2. Machine Learning: Definition, Algorithmen, Methoden und Beispiele. 11. August 2020, abgerufen am 31. Januar 2022.
  3. Marco Wiering, Martijn van Otterlo: Reinforcement learning : state-of-the-art. Springer, Berlin 2012, ISBN 978-3-642-27645-3.
  4. Tobias Reitmaier: Aktives Lernen für Klassifikationsprobleme unter der Nutzung von Strukturinformationen. kassel university press, Kassel 2015, ISBN 978-3-86219-999-0, S. 1 (Google books).
  5. Lillian Pierson: Data Science für Dummies. 1. Auflage. Wiley-VCH Verlag, Weinheim 2016, ISBN 978-3-527-80675-1, S. 105 f. (Google books).
  6. Pat Langley: The changing science of machine learning. In: Machine Learning. Band 82, Nr. 3, 18. Februar 2011, S. 275–279, doi:10.1007/s10994-011-5242-y.
  7. Kar, S., Das, S., & Ghosh, P. K. (2014). Applications of neuro fuzzy systems: A brief review and future outline. Applied Soft Computing, 15, 243-259.
  8. ftp://ftp.sas.com/pub/neural/FAQ.html#questions


Seiteninformation

Bearbeiten

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Wiki2Reveal

Bearbeiten

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Kurs:Maßtheorie auf topologischen Räumen' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.

Wikipedia2Wikiversity

Bearbeiten

Diese Seite wurde auf Basis der folgenden Wikipedia-Quelle erstellt: