Describe Main/SS09_GraphicalModels here.
Vorlesung "Einführung in Graphische Modelle" (Introduction to Graphical Models)
lecture slides are in English
Vorlesung:
Dienstag 14.00-16.00
FR-6535
Übung:
Dienstag 16.00-18.00
FR-4061
Dozenten:
Tobias Lang (Übung)
Inhalt
Graphische Modelle definieren Warscheinlichkeitsfunktionen auf gekoppelten Variablen. Die gerichtete oder ungerichtete Graphstruktur erlaubt somit eine sehr flexible Modellierung von Variablen (=Knoten) und Anhängigkeiten zwischen Variablen (=Kanten).
In den letzten Jahren wurden eine Reihe sehr mächtiger Inferenzalgorithmen (z.B. Viterbi Algorithmus, Junction Tree Algorithmus) entwickelt, die es uns erlauben graphische Modelle direkt für die Modellierung von natürlich auftretender Problemstellungen zu nutzen. Sie werden beispielsweise in der Handlungsplanung von Robotern und der maschinellen Sprach- und Bildverarbeitung erfolgreich eingesetzt. Desweiteren basieren viele aktuelle Verfahren des maschinellen Lernens wie z.B. Hidden Markov Models (HMM), Conditional Random Fields (CRFs) oder Structured Support Vector Machines (SSVM) auf graphischen Modellen.
Die Vorlesung führt in die Grundlagen Graphischer Modelle ein und stellt sie anhand von praktischen Beispielen aus den genannten Gebieten (Robotik, Sprach- und Bildverarbeitung) vor. Thematisch beginnen wir mit einfachen Bayesschen Netzwerken, lernen dann verschiedene Inferenzmechanismen kennen und leiten schliesslich aktuelle Lernverfahren wie HMMs, CRFs und SSVMs her. Am Ende sollen die Teilnehmer in der Lage sein, beliebige Problemstellungen mit Hilfe von graphischen Modellen zu kodieren und zu lösen.
Voraussetzungen
gute Mathematikkenntnisse; Statistikkenntnisse sind nützlich, aber nicht zwingend erforderlich.
Übung
Es gibt jede Woche ein Übungsblatt. Voraussetzung zur Teilnahme an der Prüfung am Semesterende ist die erfolgreiche Bearbeitung der Hälfte aller Übungsaufgaben. Erfolgreiche Bearbeitung bedeutet, dass es ersichtlich wird, dass man sich mit der Aufgabe auseinandergesetzt und die zugrundeliegenden Themen prinzipiell verstanden hat. Blätter sind einzeln zu bearbeiten. Zu Beginn jeder Übung ist auf einer Liste anzukreuzen, welche Aufgaben man bearbeitet hat. Unter den möglichen Kandidaten wird einer per Zufall bestimmt, der die Aufgabe an der Tafel vorrechnet. Falls man an der Teilnahme der Übung verhindert ist, kann man ausnahmsweise seine Bearbeitung in der Vorlesung zuvor abgeben.
Projekte
Projektskizze fuer eine Diplom/MSc-Arbeit
Schedule
Date
Topics
Slides
Excercises
21.04.
Intruduction and overview (motivation, random variables, conditional and joint probabilties, Bayes)
28.04.
(conditional) independence, Bayesian Networks, inference, examples
05.05.
Factor graphs, elimination algorithm, belief propagation
12.05.
Examples: HMMs, Markov Random Fields; building Junction Trees
19.05.
Learning & Likelihood Maximization
26.05.
HMMs, Forward-Backward, Viterbi, Expectation-Maximization, (Kernel-) Conditional Random Fields, Features
09.06.
CRF optimization, structured Perceptron
16.06.
Perceptron, structured Support-Vektor-Maschinen (SSVMs)
frei
23.06.
Structured Support-Vektor-Maschinen (SSVMs)
30.06.
Learning with missing data, Expectation Maximization
07.07.
Markov Decision Processes (MDPs), EM for optimal policies
14.07.
Summary, open problems
recommended reading
- on inference in general:
- on Bayes rule and Bayesian networks:
- related lectures:
Kevin Murphy's lecture: http://www.cs.ubc.ca/~murphyk/Teaching/CS532c_Fall04/Lectures/index.html, his notes on Bayes etc http://www.google.de/search?q=site:www.cs.ubc.ca/~murphyk/Bayes
Max Welling's class notes http://www.ics.uci.edu/~welling/classnotes/classnotes.html
Chris Williams' PRM lecture: http://www.inf.ed.ac.uk/teaching/courses/pmr/
Zoubin Ghahramani's tutorials and teaching material: http://learning.eng.cam.ac.uk/zoubin/
- on learning:
Davis and Jones, ML Estimation for the Multinomial Distribution, Teaching Statistics 14(3), 1992 http://www3.interscience.wiley.com/cgi-bin/fulltext/119984860/PDFSTART
- software:
inference software: http://user.cs.tu-berlin.de/~mtoussai/links.html and http://www.stat.duke.edu/courses/Spring99/sta294/sw.html
JavaBayes software -- directly test the online java applet