Viele alltägliche Aufgaben lassen sich nur schwer in einer formalen Form beschreiben. Dennoch fällt es Menschen leicht, diese Probleme zu lösen und solche Aufgaben zu bewältigen. Entscheidend ist hier die Fähigkeit zu lernen als eine Eigenschaft und Voraussetzung für intelligentes Verhalten. Maschinelles Lernen zielt im Allgemeinen darauf ab, durch Training zu lernen, wie eine Aufgabe zu lösen ist, anstatt eine formale Beschreibung zu benötigen.

Beim Reinforcement Learning (RL) geht es im Besonderen um belohnungsbasiertes Lernen für Serien von aufeinander folgenden Entscheidungen, wie wir es in vielen Problemstellungen in Wissenschaft und Technik betrachten (Sutton und Barto, 2017). Nach den jüngsten Erfolgen des Deep Learning allgemein (Goodfellow et al., 2016) — das von großen Datenmengen, leistungsstarken Berechnungen und neuen algorithmischen Techniken profitiert — erleben wir so nun auch ein neues Interesse an Reinforcement Learning (Arulkumaran et al., 2017), insbesondere die Kombination von Reinforcement Learning und tiefen neuronalen Netzen, d. h. Deep Reinforcement Learning (Deep RL).

Deep Reinforcement Learning bringt so zwei Stränge des maschinellen Lernens zusammen: Einerseits bieten neuronale Netze einen Lernansatz, der das Problem von (sehr) hochdimensionalen Eingabedaten und deren Projektion in niedrigdimensionale Räume angeht. Ein neuronales Netz kann daher als Approximator einer Funktion in hochdimensionalen Räumen verstanden werden. Auf diese Weise bieten tiefe Neuronale Netzwerke einen leistungsfähigen Rahmen für überwachtes Lernen. Ein solches fehlerbasiertes Lernen erfordert jedoch detaillierte kommentierte Daten, die für viele Aufgaben nicht zur Verfügung stehen oder deren Erstellung zu teuer wäre. Im Gegensatz dazu wird beim Reinforcement Learning kein Datensatz benötigt, sondern der Schwerpunkt liegt auf dem aktiven Lernen durch das Finden optimaler Aktionen für einen handelnden Agenten. Der Agent erhält nur ein einfaches Belohnungssignal und hat die Aufgabe, Aktionen auszuwählen, die die gesamte Belohnung maximieren. In den letzten Jahren hat diese Kombinationen als Deep Reinforcement Learning viele Erfolge hervorgebracht, z.B. im Bereich des automatischen spielen von Computerspielen, in dem künstliche Agenten menschliche Experten in ihren Leistungen heute vielfach bei weitem übertreffen.

Die Vorlesung gibt eine Einführung in den theoretischen Hintergrund von Reinforcement Learning, Neuronalen Netzen und die Anwendung von Deep Reinforcement Learning. Es werden aktuelle Ansätze des Deep Reinforcement Learning vorgestellt, wie sie in den letzten Jahren im Bereich des Lernens von Entscheidungen in Computerspielen umfassend erforscht wurden. Darüber hinaus werden aktuelle Arbeiten zur Ausweitung dieser Ansätze auf reale Probleme — wie Lokomotion und Greifen in der Robotik — behandelt.

Kurs im HIS-LSF