Diff for "Main/SS11_MaschinellesLernen2"

Differences between revisions 1 and 35 (spanning 34 versions)

Maschinelles Lernen - Theorie und Anwendung

Integrierte Vorlesung mit Übung

Termine und Dozenten

Termin:	Vorlesung: Dienstag, 10:00 - 12:00 Uhr, Beginn 12.04.2011
Termin:	Übung: Dienstag, 12.00 - 14.00 Uhr, Beginn 12.04.2010
Raum:	FR 1002
Verantwortlicher:	Prof. Dr. Klaus-Robert Müller
Betreuer:	Dr. Konrad Rieck, Irene Winkler

Themen

In dieser Vorlesungen werden weiterführende Themen des Maschinellen Lernens behandelt. Ein besonderer Schwerpunkt wird hierbei auf Anwendungen gelegt. Mehrere erfolgreiche Anwendungen des Maschinellen Lernens werden besprochen und auf die jeweiligen Besonderheiten wird eingegangen. Unter anderem werden folgende Themen behandelt:

Dimensionsreduktion
Blind-Source-Separation
Deep Learning
Kernmethoden für strukturierte Daten
Multiple-Kernel Learning
Optimierungstheorie

Beispiele für erfolgreiche Anwendungen sind unter anderem

Signalverarbeitung
Bioinformatik
Netzwerksicherheit
Chemoinformatik

Voraussetzungen

Vorausgesetzt werden Kenntnisse des Maschinellen Lernens (etwa im Rahmen der Veranstaltung Maschinelles Lernen I) und gute Mathematikkenntnisse, insbesondere Wahrscheinlichkeitsrechnung, Statistik, Linear Algebra. Zur Bearbeitung der Übngsaufgaben sind Programmierkenntnisse in Matlab erforderlich, die im Kurs Einführung in die computergestützte Datenanalyse mit Matlab vermittelt werden.

Übungen

Die Vorlesung wird mit einer mündlichen Prüfung abgeschlossen. Voraussetzung hierfür ist die erfolgreiche Teilnahme an der Übung. Dies bedeutet, dass 50% der Übungsaufgaben erfolgreich bearbeitet werden müssen und mindestens eine Aufgabe an der Tafel erklärt werden muss. Die Vorlesung kann in Kombination mit einer anderen Veranstaltung auch als MODUL Maschinelles Lernen 2 absolviert werden (siehe Modulbeschreibung)

Einige Hinweise zu den Abgaben:

Die Übungsblätter sind jede Woche bis Montag 12:00 bei dem Raum FR6061 (Briefkasten) abzugeben.
Die Lösungen zu theoretischen Aufgaben sind handschriftlich abzugeben.
Die praktischen Aufgaben sollen per Email (ml-ml2@lists.tu-berlin.de) und in Papierform abgegeben werden.
Die Übungsblätter dürfen in festen Zweier- und Dreiergruppen bearbeitet und abgegeben werden.

Fragen und Tipps zu den Übungen können auf einer Google-Group besprochen werden. Man muss sich registrieren, um Beiträge lesen und schreiben zu können.

Vorlesungsplan

Vorläufige Planung der Vorlesunge

Termin	Thema	Materialien
12.4.	Locally Linear Embedding	Introduction Overview
19.4.	Canonical Correlation Analysis	Folien
26.4.	Stationary Subspace Analysis	Folien
03.5.	Blind Source Separation of Audio Signals	Folien, Buchkapitel
10.5.	Factor Analysis on Financial Data	siehe Bishop Kapitel 12.2, 9.4
17.5.	Deep Learning	Folien
24.5.	Kernels for Structured Data
31.5.	Machine Learning for Computer Security
07.6.	Optimization Theory
14.6.	Multiple Kernel Learning
21.6.	Machine Learning for Bioinformatics
28.6.	On Autonomous Robots
05.7.	Structured Prediction
12.7.	Machine Learning for Chemoinformatics

Übungszettel

Blatt 1 full_sheet01.pdf
Blatt 2 full_sheet02.pdf
- (CCA: tkcca_example.m, tkcca_simple.m, tkcca_toy_data.mat; SSA: SSA Toolbox, ssa_data.mat)
Blatt 3 full_sheet03.pdf
- (umfbss.m, sfft.m, x1.wav, x2.wav)
Blatt 4 full_sheet04.pdf
Blatt 5 full_sheet05.pdf
- (mnist.mat, rbm.m, sigmoid.m)
Blatt 6 full_sheet06.pdf

IDA Wiki: Main/SS11_MaschinellesLernen2 (last edited 2011-07-20 11:26:15 by IreneWinkler)

-  ⇤ ← Revision 1 as of 2011-02-02 20:49:50 → 
  Size: 2333
  Editor: KonradRieck
  Comment:
+   ← Revision 35 as of 2011-05-23 12:16:28 → ⇥
  Size: 4858
  Editor: KonradRieck
  Comment:
-Deletions are marked like this.
+Additions are marked like this.
 Line 10:
-|| '''Dozent:''' || [[http://ml.cs.tu-berlin.de/en/klaus/index.html|Prof. Dr. Klaus-Robert Müller]], [[http://ml.cs.tu-berlin.de/~rieck/teaching.html|Dr. Konrad Rieck]] ||
+|| '''Verantwortlicher:''' || [[http://ml.cs.tu-berlin.de/en/klaus/index.html|Prof. Dr. Klaus-Robert Müller]] ||
|| '''Betreuer:''' ||  [[http://ml.cs.tu-berlin.de/~rieck/teaching.html|Dr. Konrad Rieck]], [[mailto:irene.winkler@tu-berlin.de|Irene Winkler]] ||
-Line 14:
+Line 15:
-In dieser Vorlesungen werden weiterführende Themen des Maschinellen Lernens behandelt. Ein besonderer Schwerpunkt wird auf die Anwendung gelegt werden. Mehrere erfolgreiche Anwendungen des Maschinellen Lernens werden besprochen, und auf die jeweiligen Besonderheiten wird eingegangen. Unter anderem werden folgende Themen behabdelt:
+In dieser Vorlesungen werden weiterführende Themen des Maschinellen Lernens behandelt. Ein besonderer Schwerpunkt wird hierbei auf Anwendungen gelegt. Mehrere erfolgreiche Anwendungen des Maschinellen Lernens werden besprochen und auf die jeweiligen Besonderheiten wird eingegangen. Unter anderem werden folgende Themen behandelt:
-Line 21:
+Line 22:
-   * Strukturierte Vorhersage
 Line 35:
-=== Weitere Informationen ===
+=== Übungen ===
 Line 37:
-Für die Lehre wurde eine [[http://groups.google.com/group/ml-tu|Google-Group]] eingerichtet. Man muß sich registrieren, um die Beiträge lesen zu können, aber jeder kann sich registrieren.
+Die Vorlesung wird mit einer mündlichen Prüfung abgeschlossen. Voraussetzung hierfür ist die erfolgreiche Teilnahme an der Übung. Dies bedeutet, dass 50% der Übungsaufgaben erfolgreich bearbeitet werden müssen und mindestens eine Aufgabe an der Tafel erklärt werden muss. Die Vorlesung kann in Kombination mit einer anderen Veranstaltung auch als ''MODUL Maschinelles Lernen 2'' absolviert werden (siehe [[http://www.eecs.tu-berlin.de/fileadmin/f4/fkIVdokumente/Module/fachgebiete/ML_Mueller.pdf|Modulbeschreibung]])

Einige Hinweise zu den Abgaben:

   1. Die Übungsblätter sind jede Woche bis '''Montag 12:00''' bei dem Raum FR6061 (Briefkasten) abzugeben. 
   1. Die Lösungen zu theoretischen Aufgaben sind '''handschriftlich''' abzugeben.
   1. Die praktischen Aufgaben sollen per Email ('''ml-ml2@lists.tu-berlin.de''') und in Papierform abgegeben werden.
   1. Die Übungsblätter dürfen in festen Zweier- und Dreiergruppen bearbeitet und abgegeben werden.

Fragen und Tipps zu den Übungen können auf einer [[http://groups.google.com/group/ml-tu|Google-Group]] besprochen werden. Man muss sich registrieren, um Beiträge lesen und schreiben zu können.
-Line 41:
+Line 50:
-Vorläufige Planung der Vorlesungen
+Vorläufige Planung der Vorlesunge
-Line 44:
+Line 53:
+||   12.4. ||  Locally Linear Embedding  || [[http://www.cse.buffalo.edu/~jcorso/t/555pdf/lleintro.pdf|Introduction]] [[http://www.sciencemag.org/cgi/content/full/290/5500/2323|Overview]] ||
||    19.4. || Canonical Correlation Analysis  || [[attachment:cca_lecture.pdf|Folien]] ||
||    26.4. || Stationary Subspace Analysis || [[attachment:ssa_lecture.pdf|Folien]] ||
||    03.5. || Blind Source Separation of Audio Signals || [[attachment:ml2_bss.pdf|Folien]], [[attachment:buchner_chap2007.pdf|Buchkapitel]]||
||    10.5. || Factor Analysis on Financial Data || siehe Bishop Kapitel 12.2, 9.4||
||    17.5. || Deep Learning || [[attachment:deep_lecture.pdf|Folien]] ||
||    24.5. || Kernels for Structured Data || ||
||    31.5. || Machine Learning for Computer Security || ||
||    07.6. || Optimization Theory || ||
||    14.6. || Multiple Kernel Learning || ||
||    21.6. || Machine Learning for Bioinformatics || ||
||    28.6. || On Autonomous Robots || ||
||    05.7. || Structured Prediction || ||
||    12.7. || Machine Learning for Chemoinformatics || ||
-Line 45:
+Line 68:
-=== Übungen ===
+== Übungszettel ==
-Line 47:
+Line 70:
-Die Vorlesung wird in einer mündlichen Prüfung abgeprüft. Voraussetzung hierfür ist die erfolgreiche Teilnahme an der Übung. Dies bedeutet, dass 50% der Übungsaufgaben erfolgreich bearbeitet werden müssen und mindestens eine Aufgabe an der Tafel erklärt werden muss.
+   * Blatt 1 [[attachment:full_sheet01.pdf]]
   * Blatt 2 [[attachment:full_sheet02.pdf]] 
     (CCA: [[attachment:tkcca_example.m]], [[attachment:tkcca_simple.m]], [[attachment:tkcca_toy_data.mat]]; 
     SSA: [[http://www.stationary-subspace-analysis.org/toolbox|SSA Toolbox]], [[attachment:ssa_data.mat]])
   * Blatt 3 [[attachment:full_sheet03.pdf]] 
    ([[attachment:umfbss.m]], [[attachment:sfft.m]], [[attachment:x1.wav]], [[attachment:x2.wav]]) 
   * Blatt 4 [[attachment:full_sheet04.pdf]] 
   * Blatt 5 [[attachment:full_sheet05.pdf]] 
    ([[attachment:mnist.mat]], [[attachment:rbm.m]], [[attachment:sigmoid.m]]) 
   * Blatt 6 [[attachment:full_sheet06.pdf]]