== Maschinelles Lernen - Theorie und Anwendung ==

'''Integrierte Vorlesung mit Übung'''






=== Termine und Dozenten ===

||<|2> '''Termin:''' || Vorlesung: Dienstag, 10:00 - 12:00 Uhr, Beginn 14.04.2008 ||
||Übung: Dienstag, 12.00 - 14.00 Uhr, Beginn 21.04.2008||
|| '''Raum:'''   || FR 1002 ||
|| '''Dozent:''' ||<)> Prof. Dr. Klaus-Robert Müller [ [[http://ml.cs.tu-berlin.de/en/klaus/index.html|link]] ]||
||<|2> '''Ansprechpartner:''' ||<)> Dr. Nicole Krämer [ [[http://ml.cs.tu-berlin.de/~nkraemer|link]] ]||
||Dr. Mikio Braun [ [[http://ml.cs.tu-berlin.de/~mikio|link]] ]||

=== Themen ===

In dieser Vorlesungen werden weiterführende Themen des Maschinellen Lernens behandelt. Ein besonderer Schwerpunkt wird auf die Anwendung gelegt werden. Mehrere erfolgreiche Anwendungen des Maschinellen Lernens werden besprochen, und auf die jeweiligen Besonderheiten wird eingegangen. Unter anderem werden folgende Themen behabdelt:

   * halbüberwachtes Lernen
   * Boosting-Verfahren
   * Optimierungstheorie
   * Kernmethoden für strukturierte Daten
   * Lernen auf strukturierten Daten
   * Graphische Modelle

Beispiele für erfolgreiche Anwendungen sind unter anderem

   * Bioinformatik
   * Erkennen von Angriffen in Computernetzwerken
   * Textmining

=== Voraussetzungen ===

Vorausgesetzt werden Kenntnisse des Maschinellen Lernens (etwa im Rahmen der Veranstaltung [[https://ml01.zrz.tu-berlin.de/cgi-bin/twiki/view/Main/MaschinellesLernen|Maschinelles Lernen I]]) und gute Mathematikkenntnisse. Zur Bearbeitung der Übngsaufgaben sind Programmierkenntnisse in Matlab erforderlich, die im Kurs [[https://lsf.zuv.tu-berlin.de/qisserver/servlet/de.his.servlet.RequestDispatcherServlet?state=wsearchv&search=2&veranstaltung.veranstid=78882|Einführung in die computergestützte Datenanalyse mit matlab]] vermittelt werden.

=== Vorlesungsplan mit Übungsblättern  ===

Dies ist ein vorläufiger Plan und kann sich kurzfristig ändern. 

||'''Nr'''||'''Datum'''||'''Themen'''||*Übungen*||'''Folien'''||
||1||15.04||Wiederholung: überwachtes, unüberwachtes Lernen||<)> [[attachment:blatt1.pdf|blatt1.pdf]]||<)> [[attachment:orga.pdf|orga.pdf]] ,  [[attachment:recap2.pdf|recap2.pdf]] (korrigierte Version vom 21.4.08)||
||2||22.04.||Halbüberwaches Lernen und Anwendungen||[[attachment:blatt2.pdf|blatt2.pdf]]||<)> [[attachment:ssl2.pdf|ssl2.pdf]] (aktualisierte Version vom 13.05.08)||
||3||29.04.||<(>Kerne für strukturierte Daten ||[[attachment:blatt3.pdf|blatt3.pdf]]||[[attachment:structured2.pdf|structured2.pdf]] (korrigierte Version vom 29.4.08)||
||4||06.05.||Maschinelles Lernen für Intrusion Detection||[[attachment:blatt4.pdf|blatt4.pdf]]||<(>[[attachment:intrusion.pdf|intrusion.pdf]] Daten: [[attachment:stud-data.mat.gz|stud-data.mat.gz]] ||
||5||13.05.||Text Mining||[[attachment:blatt5.pdf|blatt5.pdf]]||[[attachment:textmining.pdf|textmining.pdf]] Daten: [[http://www.cs.tu-berlin.de/~brefeld/data|externer link]]||
||6||20.05.||Maschinelles Lernen in der Bioinformatik||[[attachment:blatt6.pdf|blatt6.pdf]]||[[attachment:bioinf.pdf|bioinf.pdf]] Daten: [[attachment:splice-data.tgz|splice-data.tgz]], [[http://www2.fml.tuebingen.mpg.de/raetsch/projects/MITBookSplice|Link]] zum Paper über Weighted-Degree-Kerne||
||7||27.05.||Optimierungstheorie||[[attachment:blatt7.pdf|blatt7.pdf]]||[[attachment:optim-intro.pdf|optim-intro.pdf]]||
||8||03.06.||Large Scale Learning||[[attachment:blatt8.pdf|blatt8.pdf]]||[[attachment:largescale.pdf|largescale.pdf]]. Daten: [[https://ml01.zrz.tu-berlin.de/~mikio/alpha_train_x.txt.bz2|alpha_train_x.txt.bz2]], [[https://ml01.zrz.tu-berlin.de/~mikio/alpha_train_y.txt.bz2|alpha_train_y.txt.bz2]], [[https://ml01.zrz.tu-berlin.de/~mikio/alpha_test_x.txt.bz2|alpha_test_x.txt.bz2]]||
||9||10.06.||Dimensionsreduktion im Featureraum||[[attachment:blatt9.pdf|blatt9.pdf]]||||
||10||17.06.||Boosting und Ensemble-Verfahren||[[attachment:blatt10.pdf|blatt10.pdf]]||<)>||
||11||24.06.||Boosting und Ensemble-Verfahren II||[[attachment:blatt11.pdf|blatt11.pdf]]||Daten: [[attachment:11_data.tgz|11_data.tgz]]||
||12||01.07.||Hidden-Markov-Modelle||[[attachment:blatt12.pdf|blatt12.pdf]]||||
||13||08.07.||Support-Vektor-Maschinen für strukturierte Ausgaben||[[attachment:blatt13.pdf|blatt13.pdf]]|| [[attachment:vorlesung_svm.ppt|vorlesung_svm.ppt]] Daten: [[http://user.cs.tu-berlin.de/~brefeld/data|link]] ||
||14||15.07.||||||<(>Graphische Modelle||

=== Literatur und Links ===

Folgene Bücher geben eine umfassende Einführung in den Bereich des Maschinellen Lernens.

   * Christopher M. Bishop (2006) ''Pattern Recognition And Machine Learning'' , Springer.
   * Richard O. Duda, Peter E. Hart, David G. Stork (2001) ''Pattern Classification'' , Wiley (2. Auflage).
   * Trevor Hastie, Robert Tibshirani, Jerome Friedman (2001) The Elements of Statistical Learning, Springer.

Folgende Bücher geben eine umfassende Einführung in die Wahrscheinlichkeitstheorie und in die Statistik.

   * G. Bamberg, F. Baur (2006) ''Statistik'', Oldenbourg-Verlag, 12. Auflage
   * L. Fahrmeir, R. Künstler, I. Pigeot, G. Tutz (2004) ''Statistik'' , Springer, 5. Auflage
   * L. Wasserman (2004) ''All of Statistics'', Springer

Die wichtigsten Gleichungen für das Rechnen mit Matrizen und insbesondere  die Ableitungsregeln für höherdimensionale Funktionen findet man hier:

   * K. B. Petersen, M. S. Pedersen (2007) ''The Matrix Cookbook''. Technical University of Denmark [ [[http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=3274|externer link]] ]



-- Nicole Kraemer - 22 Apr 2008