== Maschinelles Lernen - Theorie und Anwendung ==

'''Integrierte Vorlesung mit Übung'''

=== Termine und Dozenten ===

||<|2> '''Termin:''' || Vorlesung: Dienstag, 10:00 - 12:00 Uhr, Beginn 12.04.2011 ||
||Übung: Dienstag, 12.00 - 14.00 Uhr, Beginn 12.04.2010||
|| '''Raum:'''   || FR 1002 ||
|| '''Verantwortlicher:''' || [[http://ml.cs.tu-berlin.de/en/klaus/index.html|Prof. Dr. Klaus-Robert Müller]] ||
|| '''Betreuer:''' ||  [[http://ml.cs.tu-berlin.de/~rieck/teaching.html|Dr. Konrad Rieck]], [[mailto:irene.winkler@tu-berlin.de|Irene Winkler]] ||

=== Themen ===

In dieser Vorlesungen werden weiterführende Themen des Maschinellen Lernens behandelt. Ein besonderer Schwerpunkt wird hierbei auf Anwendungen gelegt. Mehrere erfolgreiche Anwendungen des Maschinellen Lernens werden besprochen und auf die jeweiligen Besonderheiten wird eingegangen. Unter anderem werden folgende Themen behandelt:

   * Dimensionsreduktion
   * Blind-Source-Separation  
   * Deep Learning
   * Kernmethoden für strukturierte Daten
   * Multiple-Kernel Learning
   * Optimierungstheorie

Beispiele für erfolgreiche Anwendungen sind unter anderem

   * Signalverarbeitung
   * Bioinformatik
   * Netzwerksicherheit
   * Chemoinformatik

=== Voraussetzungen ===

Vorausgesetzt werden Kenntnisse des Maschinellen Lernens (etwa im Rahmen der Veranstaltung [[Main/WS10_MaschinellesLernen1|Maschinelles Lernen I]]) und gute Mathematikkenntnisse, insbesondere Wahrscheinlichkeitsrechnung, Statistik, Linear Algebra. Zur Bearbeitung der Übngsaufgaben sind Programmierkenntnisse in Matlab erforderlich, die im Kurs [[Main/SS11_MatlabKurs|Einführung in die computergestützte Datenanalyse mit Matlab]] vermittelt werden.

=== Übungen ===

Die Vorlesung wird mit einer mündlichen Prüfung abgeschlossen. Voraussetzung hierfür ist die erfolgreiche Teilnahme an der Übung. Dies bedeutet, dass 50% der Übungsaufgaben erfolgreich bearbeitet werden müssen und mindestens eine Aufgabe an der Tafel erklärt werden muss. Die Vorlesung kann in Kombination mit einer anderen Veranstaltung auch als ''MODUL Maschinelles Lernen 2'' absolviert werden (siehe [[http://www.eecs.tu-berlin.de/fileadmin/f4/fkIVdokumente/Module/fachgebiete/ML_Mueller.pdf|Modulbeschreibung]])

Einige Hinweise zu den Abgaben:

   1. Die Übungsblätter sind jede Woche bis '''Montag 12:00''' bei dem Raum FR6061 (Briefkasten) abzugeben. 
   1. Die Lösungen zu theoretischen Aufgaben sind '''handschriftlich''' abzugeben.
   1. Die praktischen Aufgaben sollen per Email ('''ml-ml2@lists.tu-berlin.de''') und in Papierform abgegeben werden.
   1. Die Übungsblätter dürfen in festen Zweier- und Dreiergruppen bearbeitet und abgegeben werden.

Fragen und Tipps zu den Übungen können auf einer [[http://groups.google.com/group/ml-tu|Google-Group]] besprochen werden. Man muss sich registrieren, um Beiträge lesen und schreiben zu können.

=== Vorlesungsplan ===

Vorläufige Planung der Vorlesunge

|| '''Termin''' || '''Thema''' || '''Materialien''' ||
||   12.4. ||  Locally Linear Embedding  || [[http://www.cse.buffalo.edu/~jcorso/t/555pdf/lleintro.pdf|Introduction]] [[http://www.sciencemag.org/cgi/content/full/290/5500/2323|Overview]] ||
||    19.4. || Canonical Correlation Analysis  || [[attachment:cca_lecture.pdf|Folien]] ||
||    26.4. || Stationary Subspace Analysis || [[attachment:ssa_lecture.pdf|Folien]] ||
||    03.5. || Blind Source Separation of Audio Signals || [[attachment:ml2_bss.pdf|Folien]], [[attachment:buchner_chap2007.pdf|Buchkapitel]]||
||    10.5. || Factor Analysis on Financial Data || siehe Bishop Kapitel 12.2, 9.4||
||    17.5. || Deep Learning || [[attachment:deep_lecture.pdf|Folien]] ||
||    24.5. || Kernels for Structured Data || [[attachment:kern_struct.pdf|Folien]] ||
||    31.5. || Machine Learning for Computer Security || [[attachment:ids_lect.pdf|Folien]] ||
||    07.6. || Optimization Theory || [[attachment:opt_intro.pdf|Folien]] ||
||    14.6. || Multiple Kernel Learning || [[attachment:mkl_intro.pdf|Folien]] ||
||    21.6. || Machine Learning for Bioinformatics || [[attachment:bio_intro.pdf|Folien]] ||
||    28.6. || On Autonomous Robots || ||
||    05.7. || Structured Prediction || [[attachment:structured_lecture.pdf|Folien]], [[http://www.cs.ubc.ca/~murphyk/Software/HMM/rabiner.pdf|Paper von Rabiner]] ||
||    12.7. || Machine Learning for Chemoinformatics || [[attachment:chemo_lecture.pdf|Folien]] ||

== Übungszettel ==

   * Blatt 1 [[attachment:full_sheet01.pdf]]
   * Blatt 2 [[attachment:full_sheet02.pdf]] 
     (CCA: [[attachment:tkcca_example.m]], [[attachment:tkcca_simple.m]], [[attachment:tkcca_toy_data.mat]]; 
     SSA: [[http://www.stationary-subspace-analysis.org/toolbox|SSA Toolbox]], [[attachment:ssa_data.mat]])
   * Blatt 3 [[attachment:full_sheet03.pdf]] 
    ([[attachment:umfbss.m]], [[attachment:sfft.m]], [[attachment:x1.wav]], [[attachment:x2.wav]]) 
   * Blatt 4 [[attachment:full_sheet04.pdf]] 
   * Blatt 5 [[attachment:full_sheet05.pdf]] 
    ([[attachment:mnist.mat]], [[attachment:rbm.m]], [[attachment:sigmoid.m]]) 
   * Blatt 6 [[attachment:full_sheet06.pdf]]
   * Blatt 7 [[attachment:full_sheet07.pdf]]
    ([[attachment:stud-data.mat.gz]], [[attachment:sheet07.m]])
   * Blatt 8 [[attachment:full_sheet08.pdf]]
   * Blatt 9: [[attachment:full_sheet09.pdf]] 
     ([[attachment:sheet09.m]], [[attachment:splice-train-data.txt]], [[attachment:splice-train-label.txt]], [[attachment:splice-test-data.txt]], [[attachment:splice-test-label.txt]])
   * Blatt 10: [[attachment:full_sheet10.pdf]]