| Zeit, Ort: |
voraussichtlich Do., 12:00-14:00
Beginn: tba
|
| Inhalt: |
Seit einem halben Jahrzehnt boomt die Erforschung und Nutzung von Techniken maschinellen Lernens.
Im Prinzip ist die Grundtechnik schon über ein halbes Jahrhundert alt;
durch effizientere Hardware und die Verfügbarkeit von enorm großen Trainingsdatensätzen
erreichen jedoch insbesondere deep networks (spezielle neuronale Netze) in verschiedenen Signalerkennungsaufgaben erst seit ein paar Jahren herausragende Resultate.
Das Thema ist sehr breit und reicht von Anwendungen für Computer Vision-Aufgaben
über die Entwicklung stochastischer Optimierungsverfahren,
über Approximationstheorie und über die statistische Fehleranalyse
bis hin zur Lösung hochdimensionaler partieller Differentialgleichungen mittels deep learning.
Je nach Interesse und Vorwissen werden wir Buchkapitel und Forschungsartikel aus diesem breiten Spektrum behandeln.
|
| Voraussetzungen: |
Analysis I-III, Vorkenntnisse in partiellen Differentialgleichungen und/oder Stochastik sind hilfreich.
|
| Vorbesprechung: |
Mi., 11.07.2018, 14:15-14:45, Raum 120.029/030 (Besprechungsraum Angewandte Mathematik)
|
| Leistungsnachweis: |
60- bis 75-minütiger Seminarvortrag und didaktisch aufbereitete Ausarbeitung (ca. 10-seitiges Handout, dieses soll eine Woche vor dem Vortrag vorgelegt werden, um zusätzliche Hilfestellungen geben zu können)
|
| Vortrags-Themen: |
Wir werden im Seminar Kapitel aus Büchern und Forschungsartikel zu den Themen behandeln.
Als einfache Referenz zum Nachschlagen von Ideen kann folgendes Buch dienen: Goodfellow, Bengio, Courville: Deep Learning
Fast alle Themen sind für zwei Personen zur Bearbeitung vorgesehen.
Sie können die Artikel zu einem Thema getrennt oder auch als Team bearbeiten und das Thema gemeinsam vorstellen.
Im Folgenden eine vorläfige Liste an Seminarthemen:
-
Basics and applications; 2 Personen
Krizhevsky, Sutskever, Hinton: ImageNet Classification with Deep Convolutional Neural Networks
Karpathy, Fei-Fei: Deep Visual-Semantic Alignments for Generating Image Descriptions
Wu, Schuster, Chen, Le, Norouzi: Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
-
Model Capacity; 2 Personen
Yarotsky: Error bounds for approximations with deep ReLU networks (L^\infty)
Böcskei, Grohs, Kutyniok, Petersen: Optimal approximation with sparsely connected deep neural networks (L^2)
-
Invariance and robustness; 1 Person
Behrmann, Dittmer, Fernsel, Maaß: Analysis of Invariance and Robustness via Invertibility of ReLU-Networks
-
Generalization error; 2 Personen
Xu, Mannor: Robustness and Generalization
Mohri, Rostamizadeh, Talwalkar: Foundations of Machine Learning, Chapter 3
-
Numerical optimization for networks; 2 Personen
Ruder: An overview of gradient descent optimization algorithms
Kingma, Ba: ADAM: A Method for Stochastic Optimization
Bottou: Stochastic Learning
-
High-dimensional PDEs; 2-3 Personen
E, Han, Jentzen: Deep learning-based numerical methods for high-dimensional parabolic partial differential equations and backward stochastic differential equations
E, Yu: The Deep Ritz method: A deep learning-based numerical algorithm for solving variational problems
Beck, Becker, Grohs, Jaafari, Jentzen: Solving stochastic differential equations and Kolmogorov equations by means of deep learning
Wenn Sie am Seminar teilnehmen möchten, tragen Sie bitte bis zum 14.9.2018 bis zu drei Präferenzen unter dieser Umfrage
|
| Vortragsübersicht: |
Dienstag, 27.11.
| 9:00, SRZ 117 | Michael Ryu |
| 10:00, N1 | Oliver Schmitz | Thema 1 | Handout |
| 11:00, N1 | Lars Fiebig | Thema 4 | Handout |
Mittwoch, 28.11.
| 14:00, SR1b | Thorsten Thomann | Thema 4 | Handout |
| 15:00, SR1b | Martin Segeroth | Thema 2 | Handout |
| 16:00, SR1b | Katrin Jansen | Thema 2 | Handout |
Donnerstag, 29.11.
| 14:00, SR2 | Saskia Hein | Thema 5 | Handout |
| 15:00, SR2 | Lucas Plagwitz | Thema 5 | Handout |
| 16:00, SR2 | Tim Erdbrügger | Thema 6 | Handout |
| 17:00, SR2 | Marco Mauritz | Thema 6 | Handout |
|
