Abschlussarbeiten

Unsere Forschungsschwerpunkte liegen im Bereich des Maschinellen Lernens und der Künstlichen Intelligenz, mit besonderem Fokus auf:

• Deep Reinforcement Learning
• Robotik
• Neuronale Netzwerke
• Large Language Models als aktuellem Anwendungsbereich
• Spatio-temporal Models

In diesen Themenfeldern betreuen wir gerne Abschlussarbeiten – sowohl auf Bachelor- als auch auf Master-Niveau. Dabei sind wir auch offen für eigene Themenvorschläge – für eine gute inhaltliche Betreuung sollte das Thema jedoch inhaltlich zu unseren Schwerpunkten passen.

Wenn Sie Interesse an einer Abschlussarbeit in diesem Umfeld haben oder eine eigene Idee einbringen möchten, sprechen sie uns gerne an, um einen ersten Termin auszumachen (Termine können über den Learnwebkurs des Oberseminars oder per Mail vereinbart werden; bitte geben sie kurz auch etwas zu ihrem Hintergrund (gehörte Vorlesungen in relevanten Bereichen) und Interessen bzw. Ideen an). In der Folge können wir dann über mehrere Treffen ein Thema und wissenschaftliche Fragestellung erarbeiten.

Im folgenden finden Sie eine Auswahl möglicher Themen als Beispiele, zugeordnet zu verschiedenen Themenrichtungen (aktualisiert, Juli 2025).

• DRL

  Thema	Beschreibung	Literatur
  Diffusion Models in DRL	Ziel: Untersuchung und Entwicklung eines effizienten Ansatzes zur Generierung realistischer und steuerbarer Bewegungsmuster für Locomotion-Aufgaben mithilfe von Diffusionsmodellen innerhalb eines Deep Reinforcement Learning (DRL)-Rahmens. Ansatz: Kombination von Diffusionsmodellen mit DRL-Agenten zur Generierung von Bewegungssequenzen. Die Diffusionsmodelle dienen dabei als Prior für physikalisch plausible Bewegungen, während DRL für die Anpassung an Zielvorgaben (z. B. Richtung, Geschwindigkeit) sorgt. Der Fokus liegt auf der Reduktion der Inferenzzeit durch distillierte oder konditionierte Diffusionsverfahren sowie auf der Evaluierung der resultierenden Bewegungsqualität und Sample-Effizienz.	Ma et al (2024), Hierarchical Diffusion Policy for Kinematics-Aware Multi-Task Robotic Frans, Kevin, Danijar Hafner, Sergey Levine, and Pieter Abbeel. “One Step Diffusion via Shortcut Models.” arXiv.org, October 16, 2024. https://arxiv.org/abs/2410.12557v2.
  Evaluation von State-Space-Modellen (z. B. Mamba) für Sequenzmodellierung in Deep Reinforcement Learning	Ziel: Untersuchung des Einsatzes von State-Space-Modellen (insbesondere Mamba) zur effizienten Verarbeitung von zeitabhängigen Zustandsfolgen in DRL-Umgebungen. Ansatz: Implementierung und Vergleich von SSM-basierten Architekturen (z. B. Mamba) mit gängigen Sequenzmodellen wie RNNs und Transformers im Kontext von DRL. Der Fokus liegt auf Effizienz, Skalierbarkeit und Performance in zeitlich komplexen Aufgaben, z. B. Locomotion oder kontrollierte Navigation.	Gu, A., & Dao, T. (2023). Mamba: Linear-time sequence modeling with selective state spaces. arXiv preprint arXiv:2312.00752.
  Teilnahme an einer RL Competition (z.B. NeurIPS )	Ziel: Entwicklung, Implementierung und Evaluation von DRL-Ansätzen im Rahmen aktueller RL-Wettbewerbe (z. B. Air-Hockey Challenge, PokeAgent, MyoChallenge, EAI Challenge) mit Fokus auf Generalisierung, Sample-Effizienz und robuster Steuerung. Ansatz: Auswahl eines RL-Wettbewerbs, Analyse der gestellten Aufgaben und Baselines, Entwicklung eines eigenen DRL-Agents (z. B. basierend auf PPO, SAC, Transformer- oder Model-based Ansätzen) und Vergleich mit bestehenden Methoden. Evaluation erfolgt anhand der offiziellen Metriken und Einreichung im Wettbewerb (optional).	Kidziński, Ł., Mohanty, S. P., Ong, C. F., Huang, Z., Zhou, S., Pechenko, A., ... & Delp, S. (2018). Learning to run challenge solutions: Adapting reinforcement learning methods for neuromusculoskeletal environments. In The NIPS'17 Competition: Building Intelligent Systems (pp. 121-153). Myo-Challenge 2025 Embodied Agent Interface Challenge PokéAgent Challenge Air-Hockey Challenge
  Entwicklung eines model-basierten Deep Reinforcement Learning-Systems mit einem differenzierbaren neuronalen Netzwerk als Körpermodell für Bewegungslernen	Ziel: Entwicklung eines model-basierten Deep Reinforcement Learning (DRL)-Systems, das ein differenzierbares neuronales Netzwerk als Körpermodell verwendet. Das primäre Ziel ist es, komplexe Bewegungen wie Manipulation oder Greifen von Objekten zu erlernen und effizient umzusetzen. Ansatz: Einsatz eines differenzierbaren neuronalen Netzwerks, das das physische Modell des Roboters oder der manipulativen Einheit repräsentiert. Das DRL-System wird dann verwendet, um optimale Steuerstrategien für Aufgaben wie Greifen oder Manipulation zu lernen, wobei das neuronale Netzwerk die zugrundeliegenden physischen Interaktionen simuliert.
  Transfer Learning in Deep Reinforcement Learning mittels Low-Rank Adaptation (LoRA) für vielseitige Task-Anpassung	Ziel: Untersuchung der Wirksamkeit von Low-Rank Adaptation (LoRA) zur effizienten Erweiterung und Anpassung vortrainierter DRL-Modelle auf neue Aufgaben mit minimalem Ressourcenaufwand. Ansatz: Basierend auf dem Konzept der Skill-Komposition in Parameterraum (z. B. aus dem genannten Paper) wird LoRA eingesetzt, um neue Fähigkeiten zu erlernen, ohne das Basisnetzwerk zu verändern. Es wird evaluiert, wie sich bestehende Skills effizient kombinieren und erweitern lassen, insbesondere in Multi-Task- oder Transfer-Szenarien mit verwandten Locomotion-Aufgaben.	Liu, Tenglong, Jianxiong Li, Yinan Zheng, Haoyi Niu, Yixing Lan, Xin Xu, and Xianyuan Zhan. “Skill Expansion and Composition in Parameter Space.” arXiv, February 9, 2025. https://doi.org/10.48550/arXiv.2502.05932.
  Anpassungsfähigkeit von Deep Reinforcement Learning bei sich ändernden internen Bedingungen in Simulationsumgebung	Ziel: Untersuchung der Anpassungsfähigkeit eins Deep RL Algorithmus zur Steuerung eines vierbeinigen Roboters in Simulationsumgebung bei variierenden internen Bedingungen wie wachsender Robotergröße oder Variation der Beinlänge. Ansatz: Anpassung einer Simulationsumgebung mit zeitlicher Änderung des Roboters (curriculum). Darin Anwendung eines Feed-Forward Netzwerks als Control-Ansatz und Evaluierung durch Experimente zur Anpassungsfähigkeit an sich ändernde Bedingungen. Mögl. Erweiterung: Vergleich mit alternativem, Zustands-basiertem Netzwerk.
  Decentralized Periodicity Constraints: Locomotion gaits are inherently periodic - can we exploit this structure and can we further factorize this structure e.g. across multiple legs?	Goal: Build a decentralized encoder that captures per-leg periodicity and inter-leg phase relationships (gaits). Evaluate the effect of such decentralization versus a centralized baseline in terms of skill diversity, spectral bandwidth and training robustness. Methodology: Periodic Skill Discovery (PSD) learns periodic latent encodings of the agent's trajectory and reinforces periodic behavior of the agent. For the decentralized setting, we consider a joint latent space where each marginal space corresponds to e.g. one leg. Decentralization raises further questions like: should different body parts operate at different frequencies?	Schilling, M., Melnik, A., Ohl, F. W., Ritter, H. J., & Hammer, B. (2021). Decentralized control and local information for robust and adaptive decentralized Deep Reinforcement Learning. https://doi.org/10.1016/j.neunet.2021.09.017 Park, J., Cho, D., Lee, J., Shim, D., Jang, I., & Kim, H. J. (2025). PSD: Periodic Skill Discovery. https://doi.org/10.48550/arXiv.2511.03187

   

• Robotik

  Thema	Beschreibung	Literatur
  Vision-Language-Action-Modelle zur adaptiven Steuerung von Robotern	Ziel: Entwicklung eines Steuerungsansatzes, der Foundation-Modelle (z. B. VLAs) für eine multimodale Planung nutzt und diese mit einem schnellen, adaptiven Kontrollmodul für präzise Robotiksteuerung kombiniert. Ansatz: Verwendung eines existierenden VLA-Modells zur Generierung von open-loop Aktionsplänen (z. B. Sequenzen geplanter Bewegungen Kontrollsignale). Aufbau eines Intermediate Controllers (z. B. mittels DRL oder Model Predictive Control), der diese Pläne in Echtzeit adaptiv interpretiert, aktualisiert und in hochfrequente Steuersignale für Locomotion-Systeme übersetzt. Fokus auf Modularität, Reaktionsfähigkeit und Sample-Effizienz.	Kim, M. J., Pertsch, K., Karamcheti, S., Xiao, T., Balakrishna, A., Nair, S., ... & Finn, C. (2024). OpenVLA: An open-source vision-language-action model. arXiv preprint arXiv:2406.09246. Boyle, L., Baumann, N., Sivasothilingam, P., Magno, M., & Benini, L. (2025). RobotxR1: Enabling Embodied Robotic Intelligence on Large Language Models through Closed-Loop Reinforcement Learning. arXiv preprint arXiv:2505.03238.
  Entwicklung eines neuronalen Netzes zur Vorhersage von Bodenkontakt bei laufenden Robotern	Ziel: Entwicklung eines neuronalen Netzes zur Vorhersage des Bodenkontakts von Robotern, basierend auf Servomotordaten. Ansatz: Analyse von Servomotordaten und Bodenkontaktsensordaten eines laufenden Roboters; Entwicklung und Training eines neuronalen Netzes zur Vorhersage des Bodenkontakts.
  Berücksichtigung sensorischer Verzögerungen in Deep Reinforcement Learning	Ziel: Erforschung der Auswirkungen sensorischer Verzögerungen auf dezentrale und zentrale DRL-Systeme – deren Lernverhalten und die Robustheit des gelernten Verhaltens. Ansatz: Vergleich von dezentralem DRL mit geringeren sensorischen Verzögerungen und zentralem DRL unter Einbeziehung größerer Verzögerungen. Analyse des Einflusses dieser Verzögerungen auf die Leistung und das Lernverhalten.

   

• NN

  Sprechen sie uns gerne zu Themen im Bereich Neuronaler Netze und Lernen von Neuronalen Netzen an, z.B. zum Repräsentationslernen, zu XAI Ansätzen, Generalisierungsuntersuchungen, ...

  Thema	Beschreibung	Literatur
  Entwicklung eines neuronalen Netzes zur Vorhersage von Bodenkontakt bei laufenden Robotern	Ziel: Entwicklung eines neuronalen Netzes zur Vorhersage des Bodenkontakts von Robotern, basierend auf Servomotordaten. Ansatz: Analyse von Servomotordaten und Bodenkontaktsensordaten eines laufenden Roboters; Entwicklung und Training eines neuronalen Netzes zur Vorhersage des Bodenkontakts. Voraussetzungen: Kenntnisse in Machine Learning, Robotik und Programmierung (vorzugsweise Python).
  Conditional Flow Matching in Diffusion Models für spatio-temporal data	Diese Arbeit erweitert den Ansatz des Conditional Flow Matching (CFM), der im Paper "TSFlow" erfolgreich für Zeitreihen-Forecasting eingesetzt wurde, auf die Domäne der spatio-temporalen Vorhersage. Der Kern der Untersuchung besteht darin, die von TSFlow genutzten informierten Priors auf Basis von Gauß-Prozessen zu einem spatio-temporalen Gauß-Prozess zu erweitern, der sowohl zeitliche als auch räumliche Korrelationen auf Graphen modelliert. Dieser strukturierte Prior wird in ein CFM-Framework integriert, dessen Vektorfeld durch ein Graph Neural Network (GNN) parametrisiert wird, um die zugrundeliegende Netzwerkstruktur zu verarbeiten. Ziel ist es, ein effizienteres und genaueres generatives Modell für Vorhersagen in komplexen Netzwerken wie Verkehrs- oder Energiesystemen zu entwickeln und mit bestehenden Methoden zu vergleichen.	https://openreview.net/pdf?id=uxVBbSlKQ4 https://dl.heeere.com/conditional-flow-matching/blog/conditional-flow-matching/ https://diffusion.csail.mit.edu/

   

• LLMs

  Abschlussarbeiten sowohl im Einsatz und Anwendung von LLMs und deren Evaluation (unter Einbindung von Retrieval-Augmented Generation oder unter Verwendung von Fine-Tunign) als auch speziell mit einem Fokus zum Verständnis der neuronalen Netze und der Untersuchung der internen Zustände.

  Thema	Beschreibung	Literatur
  Anpassung von Texten an Sprachniveaus im Deutsch-als-Fremdsprache-Unterricht	Ziel: Verbesserung der Anpassung von Texten an verschiedene Sprachniveaus durch Reinforcement Fine-Tuning, um gezielt bezüglich linguistischer Qualität und Verständlichkeit zu optimieren. Ansatz: Ein initial trainiertes Sprachmodell wird mithilfe von Reinforcement Learning weiter verfeinert. Eine Belohnungsfunktion bewertet dabei die Qualität der Texttransformationen basierend auf sprachlichen Kriterien (z. B. Lesbarkeitsmetriken, Expertenfeedback oder automatische Bewertungen durch größere Modelle). Durch optimierte Rückmeldemechanismen soll das Modell robuste und konsistente Anpassungen an Sprachniveaus erlernen. Umsetzung z.B. über Knowledge Distillation, spezielle Trainingsansätze (DPO, GRPO)	Xu, Xiaohan, Ming Li, Chongyang Tao, Tao Shen, Reynold Cheng, Jinyang Li, Can Xu, Dacheng Tao, and Tianyi Zhou. “A Survey on Knowledge Distillation of Large Language Models.” arXiv, October 21, 2024. https://doi.org/10.48550/arXiv.2402.13116. Rafailov et al. (2024), “Direct Preference Optimization: Your Language Model Is Secretly a Reward Model.” arXiv, https://doi.org/10.48550/arXiv.2305.18290. https://argilla.io/blog/mantisnlp-rlhf-part-8/
  Reasoning Model – Distillation von Reasoning-Traces aus LLMs (z.B. zur Modellierung von Sprachverständnis auf unterschiedlichen Sprachniveaus)	Ziel: Untersuchung, wie sich Reasoning-Traces von LLMs für Aufgaben des Sprachverstehens auf verschiedenen Sprachniveaus erzeugen und nutzen lassen, um daraus ein kompakteres, spezialisiertes Modell über Distillation abzuleiten. Ansatz: Ein bestehendes LLM wird genutzt, um reasoning-basierte Antwortpfade zu generieren, die den kognitiven Schwierigkeitsgrad je nach Sprachniveau reflektieren (z. B. A2 bis C1). Diese Traces werden gesammelt, annotiert und dienen als Trainingsdaten für ein kleineres Modell. Ziel ist eine effektive Wissensdistillation unter Beibehaltung der reasoning-Fähigkeiten für differenziertes Sprachverstehen.	DeepSeek-AI, Daya Guo, Dejian Yang, Haowei Zhang, Junxiao Song, Ruoyu Zhang, Runxin Xu, et al. “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.” arXiv, January 22, 2025. https://doi.org/10.48550/arXiv.2501.12948. https://sebastianraschka.com/blog/2025/understanding-reasoning-llms.html
  Auswerten / Klassifikation von Internal States eines LLMs / Reasoning Models	Ziel: Untersuchung, ob und wie interne Aktivierungszustände von LLMs genutzt werden können, um deren internen Zustand auszuwerten. Am Beispiel: Um das Sprachniveau eines Eingabesatzes zu erkennen oder als Konfidenzabschätzung darüber. Ansatz: Analyse der Aktivierungsmuster in den letzten Schichten eines LLM bei Inputs unterschiedlicher Sprachniveaus (z. B. A1–C2). Entwicklung eines Klassifikators, der auf diesen internen Zuständen basiert. Vergleich der Ergebnisse mit externen Sprachniveau-Erkennungsstrategien durch Prompting. Nutzung geeigneter Metriken zur Modellkonfidenz und Evaluierung der Korrelation dieser Metriken mit annotierten Sprachniveaus.	Azaria, A., & Mitchell, T. (2023). The internal state of an LLM knows when it's lying. arXiv preprint arXiv:2304.13734. Ridder, F., & Schilling, M. (2024). The HalluRAG Dataset: Detecting Closed-Domain Hallucinations in RAG Applications Using an LLM's Internal States. arXiv preprint arXiv:2412.17056. Anthropic (2025), Tracing the thoughts of a large language model und (2024) Mapping the Mind of a LLM

   

• Spatio-Temp.

  Die Forschung im Bereich Spatio-temporal Forecasting entwickelt fortschrittliche Deep-Learning-Architekturen wie GNNs, Convolutions und Transformer, um komplexe räumlich-zeitliche Abhängigkeiten in Systemen wie dem Wetter, Verkehrsnetzen oder der Energieinfrastruktur zu modellieren und präzise Vorhersagen zu treffen.

  Thema	Beschreibung	Literatur
  Vergleich von Positional Encodings für Time Series Forecasting mit Transformern	Ziel:  Bewertung der Wirksamkeit von Positional Encodings bei der Vorhersage von Zeitreihen mit Transformern. Identifikation und Analyse von Schwachstellen der eingesetzten Methoden. Ansatz: Verständnisaufbau für Transformer-Modelle und deren Anwendung im Bereich der Zeitreihen-Vorhersage; Untersuchung bestehender Ansätze des Positional Encodings; Experimenten zur Bewertung des Einflusses verschiedener Positional Encodings auf die Vorhersagegenauigkeit und Leistungsfähigkeit der Modelle anhand von Benchmark-Datensätzen; Identifikation und Analyse der Schwachstellen der verwendeten Methoden und Modelle; ggf. Vorschläge für mögliche Verbesserung. Voraussetzungen:  Kenntnisse in Deep (supervised) Learning, Programmierkenntnisse (bevorzugt Python, Pytorch/Tensorflow).	https://link.springer.com/article/10.1007/s10618-023-00948-2
  Temporal Oversquashing	Ziel & Ansatz Diese Arbeit untersucht das Over-squashing-Problem in spatio-temporalen Graphennetzwerken, bei dem Informationsverluste durch die Komprimierung von Daten aus entfernten Knoten entstehen. Im Fokus steht der direkte Vergleich zwischen Architekturen, die auf temporalen Convolutions basieren, und solchen, die Attention-Mechanismen verwenden. Durch gezielte Experimente wird analysiert, welcher Ansatz anfälliger für diesen Informationsverlust ist und wie die jeweilige Graph-Topologie dies beeinflusst. Ziel ist es, die Stärken und Schwächen beider Methoden aufzuzeigen und daraus Empfehlungen für die Wahl der passenden Modellarchitektur abzuleiten. Voraussetzungen:  Kenntnisse in Deep (supervised) Learning, Programmierkenntnisse (bevorzugt Python, Pytorch/Tensorflow).	https://arxiv.org/abs/2506.15507
  Vorhersage von Stromlastprofilen zur Früherkennung und Glättung von Lastspitzen im kommunalen Verteilnetz	Ziel: Entwicklung und Evaluation von Modellen zur Vorhersage von Stromlastverläufen auf Basis historischer Netzdaten der Stadtwerke Hünfeld. Ziel ist die frühzeitige Identifikation von Lastspitzen durch geeignete Modellwahl (und Hyperparametrisierung) und Inputselektion (Auswahl möglicher und verfügbarer Einflussfaktoren). Ansatz: Einsatz und Vergleich aktueller Time-Series-Prediction-Modelle (Neural Network-based, Transformer variants) zur Prognose von Lastverläufen unter Einbeziehung verschiedener Datenquellen (historische Lastdaten, Wetterdaten, Kalenderdaten, ...). Neben klassischen Vorhersagemetriken sollen dabei gerade auch domänenspezifische Kriterien (z. B. Vorwarnzeit auf Lastspitzen) zur Bewertung herangezogen werden. Voraussetzungen: Python und ML-Frameworks (z. B. PyTorch, TensorFlow), ideal wären Kenntnisse in Zeitreihenanalyse und Deep Learning, Interesse an praxisnaher Modellierung im Energiesektor