Seminar: Textmodellierung

Überblick

Textmodellierung bildet die Grundlage für viele Anwendungen im Bereich Natural Language Processing und Information Retrieval. Dieses Seminar gibt einen Einblick ein eine Handvoll grundlegende, unterschiedliche Methoden zum Umgang mit Textmodellierung.

Das Seminar wird auf englisch stattfinden.

Für weitere Informationen melden Sie sich bitte im Learnweb-Kurs an, sobald er existiert.

Anforderungen

1. Erarbeiten eines gegebenen Themas mit einem Artikel als Startpunkt
   • Je nach Teilnahmezahlen allein oder im Team
   • Literatursuche nach Weiterentwicklungen / verwandten Arbeiten
2. Halten von zwei Vorträgen je ca. 30 Minuten (zuzüglich Diskussion)
   • Der erste Vortrag soll die Grundlagen und den ersten Artikel abdecken.
   • Der zweite Vortrag soll anhand von ein, zwei weiteren Papieren (aus der Literatursuche) eine Weiterentwicklung skizzieren.
3. Anfertigen einer individuellen, schriftlichen Ausarbeitung
   • Ca. 8 Seiten im ijcai Format (double column) ohne Referenzen
   • Beschreibung der in den Vorträgen besprochenen Konzepte
   • Einbeziehung der Ergebnisse der Literatursuche
4. Anwesenheit bei allen Vorträgen, Beteiligung an Diskussionen

Themen

1. Eigenwert-basierte Repräsentation:
   Drikvandi & Lawal (2020): Sparse Principal Component Analysis for Natural Language Processing
2. Probabilistische Modellierung:
   Blei et al. (2003): Latent Dirichlet Allocation
3. Worteinbettungen:
   Mikolov et al. (2013): Distributed Representations of Words and Phrases and Their Compositionality
4. Sprachmodell:
   Devlin et al. (2019): BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Die jeweiligen Ausgangsartikel lassen sich unter Eingabe der genannten Titel und Autoren finden. Eventuell muss man im WWU Netz sein, um Zugriff zu erhalten.