Textanalyse und Textgenerierung/Vorhersage von Textfragmenten
Einleitung Bearbeiten
Sie kennen wahrscheinlich die Wortvervollständigung bei der Eingabe von Texten auf dem Smartphone oder die Vorschläge für nächste Wörter, die sich aus dem gegeben Text als Anschluss ermöglichen. Diese Wortschläge und Vervollständigen ergeben sich mit einer bestimmten Wahrscheinlichkeit auf Basis des bisher eingegeben Textes. Diese Zusammenhänge werden in dieser Lerneinheit untersucht.
Einführungsbeispiel Bearbeiten
Der Eingabetext sei "Wie geht es". Wenn Sie dieses Texfragment lesen, würden Sie wahrscheinlich vermuten, dass das nächste Wort, das danach eingegeben wird "Dir" oder "Ihnen" sei wird und dann ggf. von einem Fragezeichen "?" als Satz abgeschlossen wird.
Einführungsaufgabe Bearbeiten
Man würde ggf. am Anfang die Wahrscheinlichkeit Kann man bei dem obigen Beispiel ggf. auch schon die Wahrscheinlichkeit für die beiden Textfragmente "Dir" bzw. "Ihnen" jeweils auf setzen. Kann man ggf. aus einem größeren Textfragment die Wahrscheinlichkeitsverteilung ggf. anders als eine diskrete Gleichverteilung vornehmen?
- Welche Informationen aus dem Text helfen Ihnen dabei die Wahrscheinlichkeit festzulegen?
- Können Sie dafür ein erstes mathematische Modell angeben?