Differences between revisions 6 and 29 (spanning 23 versions)

Vorlesung Einführung in Maschinelles Lernen

Termine und Informationen

Es handelt sich um eine integrierte Vorlesung mit Übung. Dieser Kurs ist eine Basisveranstaltung. Siehe auch den Eintrag im Vorlesungsverzeichnis

Vorlesung	Donnerstags, 10 - 12 (ab 15.10.2009)
Raum	FR 7039
Übung	Donnerstags, 12 - 14 (ab 15.10.2009)
Raum	FR 7039
Dozenten	Prof. Dr. Klaus-Robert Müller
Dozenten	Dr. Mikio Braun
Sprechzeiten	Prof. Dr. Klaus-Robert Müller: nach Vereinbarung
Sprechzeiten	Dr. Mikio Braun: nach Vereinbarung

Es gibt eine Google group, in der aktuelle Ankündigungen zur Vorlesung zu finden sind. Dort können auch Fragen gestellt werden (z.B. Fehler auf dem Aufgabenblatt). Man muß angemeldet sein, um die Inhalte lesen zu können, der Zugang ist jedoch jedem offen.

Themen

Die Vorlesung behandelt einführende Themen im Bereich des maschinellen Lernens.

Im Einzelnen wird sich die Vorlesung mit den folgenden Themen beschäftigen:

Grundlagen Wahrscheinlichkeitstheorie
Maximum Likelihood Schätzer und Bayes'sche Inferenz
Hauptkomponentenanalyse
Faktoranalyse
K-means Clustering
Lineare Diskriminanzanalyse
K-nächste Nachbarklassifikation
Least Mean Squares Klassifikation
Fisher Diskriminanten
Regression
Modellselektion
Supportvektormaschinen
Radialbasisfunktionsnetze
Gauss'sche Prozesse

Im Anschluss an die Vorlesung findet die Übung statt, in der die erlernten Methoden vertieft werden.

Vorkenntnisse

Kenntnisse in Linearer Algebra und Grundkenntnisse in Wahrscheinlichkeitsrechnungsind werden vorausgesetzt. Zur Lösung eines Teils der Hausaufgaben werden Kenntnisse in einer mathematischen/statistischen Software benötigt. Wir empfehlen die Benutzung von matlab bzw. octave. Letzteres ist unter www.octave.org frei erhältlich. Matlab ist auf dem vom irb verwalteten System installiert und kann mit /home/ml/ml/bin/matlab gestartet werden.

Übungen

Die Übungsleistung geht in die Gesamtbenotung ein. Mindestens 50% der Übungen müssen bearbeitet werden, um zur abschließenden mündlichen Prüfung zugelassen zu werden.

Einige Hinweise zu den Abgaben:

Die Lösungen zu theoretischen Aufgaben sind handschriftlich abzugeben.
Die praktischen Aufgaben werden über ein Webinterface abgegeben (wird jeweils bekanntgegeben).
Die Übungsblätter dürfen in Zweiergruppen bearbeitet und abgegeben werden, die Zusammensetzung sollte sich jedoch nicht ändern.

Darüber hinaus beachtet bitte folgende Hinweise:

Die Lösungen sollten gut erklärt und strukturiert sein. Insbesondere sollte Programmcode auch ausreichend dokumentiert und den üblichen Konventionen entsprechend formatiert sein (z.B. Einrückungen).
Natürlich müssen die Lösungen selbst erarbeitet und niedergeschrieben werden. Selbst wenn man sich "Anregungen" besorgt hat, muß der Lösungsweg selbst verstanden und unabhängig niedergeschrieben werden. Wörtliche Kopien anderer Lösungen oder aus dem Internet sind ein Vergehen, für das entsprechende Konsequenzen vorgesehen sind.
Es kommt immer wieder vor, dass Studenten die Übungsaufgaben bearbeiten wollen, aber aus terminlichen Gründen nicht an der Übung selbst teilnehmen können. Bitte klärt das mit Eurem Übungsleiter ab und holt Eure Lösungen regelmäßig ab, um den Lernerfolg sicherzustellen.

Literatur und Links

Folgene Bücher geben eine umfassende Einführung in den Bereich des Maschinellen Lernens.

Christopher M. Bishop (2006) Pattern Recognition And Machine Learning , Springer.
Richard O. Duda, Peter E. Hart, David G. Stork (2001) Pattern Classification , Wiley (2. Auflage).
Trevor Hastie, Robert Tibshirani, Jerome Friedman (2001) The Elements of Statistical Learning, Springer.

Folgende Bücher geben eine umfassende Einführung in die Wahrscheinlichkeitstheorie und in die Statistik.

G. Bamberg, F. Baur (2006) Statistik, Oldenbourg-Verlag, 12. Auflage
L. Fahrmeir, R. Künstler, I. Pigeot, G. Tutz (2004) Statistik , Springer, 5. Auflage
L. Wasserman (2004) All of Statistics, Springer

Die wichtigsten Gleichungen für das Rechnen mit Matrizen und insbesondere die Ableitungsregeln für höherdimensionale Funktionen findet man hier:

K. B. Petersen, M. S. Pedersen (2007) The Matrix Cookbook. Technical University of Denmark [ externer link ]

Terminplan

Datum	Thema	Material
15. 10. 2009	Einführung und die Bayesregel
22. 10. 2009	Diskriminanzfunktionen und Maximum-Likelihood
29. 10. 2009	Principal Component Analysis
5. 11. 2009	Independent Component Analysis
12. 11. 2009	Clustering	clustering_slides.pdf
19. 11. 2009	Klassifizierung, Fisher-Diskriminanzanalyse	FDA_and_LSR.pdf
26. 11. 2009	k-nächste Nachbarregel, Regression
3. 12. 2009	Modellselektion und Verlustfunktion
10. 12. 2009	Statistisches Testen	p-values.pdf
17. 12. 2009	Statistische Lerntheorie	lect_kernelmethods.pdf
7. 1. 2009	Kerntrick und Support-Vektor-Machines, Kernel-PCA, Kernel-FDA
14. 1. 2009	Neuronale Netze und Radialbasisfunktionsnetze
21. 1. 2009	Gausssche Prozesse
28. 1. 2009	TBA
4. 2. 2009	Expectation-Maximization-Algorithmus und Mixturmodelle
11. 2. 2009	Zusammenfassung und Ausblick

Übungsblatter

Blatt 1 Ein bißchen was zur Bayesformel und mehrdimensionalen Gaussverteilung
Blatt 2 Maximum-Likelihood Schätzer
Blatt 3 Hauptkomponentenanalyse
Blatt 4 Programmskelett Independent-Component-Analyse
Blatt 5 Programmskelett K-Means Clustering
Blatt 6 Programmskelett Fisher's Diskriminanzanalyse
Blatt 7 Programmskelett k-nächster Nachbarregel
Blatt 8 Programmskelett Bias-Varianz-Zerlegung
Blatt 9 Programmskelett Statistische Tests
Blatt 10 Mercerkerne
Blatt 11 Programmskelett Daten Support-Vektor-Maschinen
Blatt 12 Kernel-Fisher's-Diskriminanzanalyse

IDA Wiki: Main/WS09_MaschinellesLernen1 (last edited 2010-02-04 11:34:00 by PaulBuenau)

-  ⇤ ← Revision 6 as of 2009-10-19 10:15:05 → 
  Size: 5119
  Editor: MikioBraun
  Comment:
+   ← Revision 29 as of 2010-01-20 12:39:10 → ⇥
  Size: 7453
  Editor: MikioBraun
  Comment:
-Deletions are marked like this.
+Additions are marked like this.
 Line 1:
+## page was renamed from Main/SS09_MaschinellesLernen1
-Line 7:
+Line 8:
-||'''Vorlesung'''||Donnerstags, 10 - 12 (ab 15.10.2008)||
+||'''Vorlesung'''||Donnerstags, 10 - 12 (ab 15.10.2009)||
-Line 9:
+Line 10:
-||'''Übung'''||Donnerstags, 12 - 14 (ab 15.10.2008)||
+||'''Übung'''||Donnerstags, 12 - 14 (ab 15.10.2009)||
-Line 80:
+Line 81:
-=== Weitere Unterlagen zur Vorlesung ===
+=== Terminplan ===
-Line 82:
+Line 83:
-== Übungsblatter ==
+|| '''Datum''' || '''Thema''' || '''Material''' ||
|| 15. 10. 2009 || Einführung und die Bayesregel || ||
|| 22. 10. 2009 || Diskriminanzfunktionen und Maximum-Likelihood || ||
|| 29. 10. 2009 || Principal Component Analysis || ||
|| 5. 11. 2009 || Independent Component Analysis || ||
|| 12. 11. 2009 || Clustering || [[attachment:clustering_slides.pdf]] ||
|| 19. 11. 2009 || Klassifizierung, Fisher-Diskriminanzanalyse || [[attachment:FDA_and_LSR.pdf]] ||
|| 26. 11. 2009 || k-nächste Nachbarregel, Regression || ||
|| 3. 12. 2009 || Modellselektion und Verlustfunktion || ||
|| 10. 12. 2009 || Statistisches Testen || [[attachment:p-values.pdf]] ||
|| 17. 12. 2009 || Statistische Lerntheorie || [[attachment:lect_kernelmethods.pdf]] ||
||  7. 1. 2009 || Kerntrick und Support-Vektor-Machines, Kernel-PCA, Kernel-FDA || ||
|| 14. 1. 2009 || Neuronale Netze und Radialbasisfunktionsnetze || ||
|| 21. 1. 2009 || Gausssche Prozesse || ||
|| 28. 1. 2009 || TBA || ||
|| 4. 2. 2009 || Expectation-Maximization-Algorithmus und Mixturmodelle || ||
|| 11. 2. 2009 || Zusammenfassung und Ausblick || ||
-Line 84:
+Line 101:
-   * [[attachment:full_sheet01.pdf][Blatt 1]]
+=== Übungsblatter ===

   * [[attachment:full_sheet01.pdf|Blatt 1]] Ein bißchen was zur Bayesformel und mehrdimensionalen Gaussverteilung 
   * [[attachment:full_sheet02.pdf|Blatt 2]] Maximum-Likelihood Schätzer
   * [[attachment:full_sheet03.pdf|Blatt 3]] Hauptkomponentenanalyse
   * [[attachment:full_sheet04.pdf|Blatt 4]] [[attachment:sheet04.m|Programmskelett]] Independent-Component-Analyse
   * [[attachment:full_sheet05.pdf|Blatt 5]] [[attachment:sheet05.m|Programmskelett]] K-Means Clustering
   * [[attachment:full_sheet06.pdf|Blatt 6]] [[attachment:sheet06.m|Programmskelett]] Fisher's Diskriminanzanalyse
   * [[attachment:full_sheet07.pdf|Blatt 7]] [[attachment:sheet07.m|Programmskelett]] k-nächster Nachbarregel
   * [[attachment:full_sheet08.pdf|Blatt 8]] [[attachment:sheet08.m|Programmskelett]] Bias-Varianz-Zerlegung
   * [[attachment:full_sheet09.pdf|Blatt 9]] [[attachment:sheet09.m|Programmskelett]] Statistische Tests
   * [[attachment:full_sheet10.pdf|Blatt 10]] Mercerkerne
   * [[attachment:full_sheet11.pdf|Blatt 11]] [[attachment:sheet11.m|Programmskelett]] [[attachment:sheet11_data.m|Daten]] Support-Vektor-Maschinen
   * [[attachment:full_sheet12.pdf|Blatt 12]] Kernel-Fisher's-Diskriminanzanalyse