= Vorlesung Einführung in Maschinelles Lernen = === Termine und Informationen === Es handelt sich um eine integrierte Vorlesung mit Übung. Dieser Kurs ist eine Basisveranstaltung. Siehe auch den [[https://lsf.zuv.tu-berlin.de/qisserver/servlet/de.his.servlet.RequestDispatcherServlet?state=wsearchv&search=2&veranstaltung.veranstid=98075&purge=y|Eintrag im Vorlesungsverzeichnis]] ||'''Vorlesung'''||Donnerstags, 10 - 12 (ab 21.10.2010)|| ||'''Raum'''||FR 7039|| ||'''Übung'''||Donnerstags, 12 - 14 (ab 21.10.2010)|| ||'''Raum'''||FR 7039|| ||<(^|3>'''Dozenten'''||[[http://www.ml.tu-berlin.de/menue/mitglieder/klaus-robert_mueller/|Prof. Dr. Klaus-Robert Müller]]|| ||[[http://mikiobraun.de|Dr. Mikio Braun]]|| ||[[http://www.user.tu-berlin.de/rieck/|Dr. Konrad Rieck]]|| ||<(^|2>'''Sprechzeiten'''||Prof. Dr. Klaus-Robert Müller: nach Vereinbarung|| ||Dr. Konrad Rieck: nach Vereinbarung|| Es gibt eine [[http://groups.google.com/group/ml-tu|Google group]], in der aktuelle Ankündigungen zur Vorlesung zu finden sind. Dort können auch Fragen gestellt werden (z.B. Fehler auf dem Aufgabenblatt). Man muß angemeldet sein, um die Inhalte lesen zu können, der Zugang ist jedoch jedem offen. === Themen === Die Vorlesung behandelt einführende Themen im Bereich des maschinellen Lernens. Im Einzelnen wird sich die Vorlesung mit den folgenden Themen beschäftigen: * Grundlagen Wahrscheinlichkeitstheorie * Maximum Likelihood Schätzer und Bayes'sche Inferenz * Hauptkomponentenanalyse * Faktoranalyse * K-means Clustering * Lineare Diskriminanzanalyse * K-nächste Nachbarklassifikation * Least Mean Squares Klassifikation * Fisher Diskriminanten * Regression * Modellselektion * Supportvektormaschinen * Radialbasisfunktionsnetze * Gauss'sche Prozesse Im Anschluss an die Vorlesung findet die Übung statt, in der die erlernten Methoden vertieft werden. === Vorkenntnisse === Kenntnisse in Linearer Algebra und Grundkenntnisse in Wahrscheinlichkeitsrechnungsind werden '''''vorausgesetzt'''''. Zur Lösung eines Teils der Hausaufgaben werden Kenntnisse in einer mathematischen/statistischen Software benötigt. Wir empfehlen die Benutzung von matlab bzw. octave. Letzteres ist unter [[http://www.octave.org|www.octave.org]] frei erhältlich. Matlab ist auf dem vom irb verwalteten System installiert und kann mit `/home/ml/ml/bin/matlab` gestartet werden. === Übungen === Die Vorlesung wird mit einer mündlichen Prüfung abgeschlossen. Voraussetzung hierfür ist die erfolgreiche Teilnahme an der Übung. Dies bedeutet, dass 50% der Übungsaufgaben erfolgreich bearbeitet werden müssen und mindestens eine Aufgabe an der Tafel erklärt werden muss. Einige Hinweise zu den Abgaben: 1. Die Übungsblätter sind jede Woche bis '''Mittwoch 12:00''' im Raum FR6061 abzugeben. 1. Die Lösungen zu theoretischen Aufgaben sind '''handschriftlich''' abzugeben. 1. Die praktischen Aufgaben sollen per Email ('''konrad.rieck@tu-berlin.de''') und in Papierform abgegeben werden. 1. Die Übungsblätter dürfen in festen Zweier- und Dreiergruppen bearbeitet und abgegeben werden. Darüber hinaus beachtet bitte folgende Hinweise: * Die Lösungen sollten gut erklärt und strukturiert sein. Insbesondere sollte Programmcode auch ausreichend dokumentiert und den üblichen Konventionen entsprechend formatiert sein (z.B. Einrückungen). * Natürlich müssen die Lösungen selbst erarbeitet und niedergeschrieben werden. Selbst wenn man sich "Anregungen" besorgt hat, muß der Lösungsweg selbst verstanden und unabhängig niedergeschrieben werden. Wörtliche Kopien anderer Lösungen oder aus dem Internet sind ein Vergehen, für das entsprechende Konsequenzen vorgesehen sind. * Es kommt immer wieder vor, dass Studenten die Übungsaufgaben bearbeiten wollen, aber aus terminlichen Gründen nicht an der Übung selbst teilnehmen können. Bitte klärt das mit Eurem Übungsleiter ab und holt Eure Lösungen regelmäßig ab, um den Lernerfolg sicherzustellen. === Literatur und Links === Folgene Bücher geben eine umfassende Einführung in den Bereich des Maschinellen Lernens. * Christopher M. Bishop (2006) ''Pattern Recognition And Machine Learning'' , Springer. * Richard O. Duda, Peter E. Hart, David G. Stork (2001) ''Pattern Classification'' , Wiley (2. Auflage). * Trevor Hastie, Robert Tibshirani, Jerome Friedman (2001) The Elements of Statistical Learning, Springer. Folgende Bücher geben eine umfassende Einführung in die Wahrscheinlichkeitstheorie und in die Statistik. * G. Bamberg, F. Baur (2006) ''Statistik'', Oldenbourg-Verlag, 12. Auflage * L. Fahrmeir, R. Künstler, I. Pigeot, G. Tutz (2004) ''Statistik'' , Springer, 5. Auflage * L. Wasserman (2004) ''All of Statistics'', Springer Die wichtigsten Gleichungen für das Rechnen mit Matrizen und insbesondere die Ableitungsregeln für höherdimensionale Funktionen findet man hier: * K. B. Petersen, M. S. Pedersen (2007) ''The Matrix Cookbook''. Technical University of Denmark [ [[http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=3274|externer link]] ] === Terminplan === || '''Datum''' || '''Thema''' || '''Material''' || || 28. 10. 2010 || Einführung und die Bayesregel || || || 4. 11. 2010 || Diskriminanzfunktionen und Maximum-Likelihood || || || 11. 11. 2010 || Principal Component Analysis || || || 18. 11. 2010 || Clustering || [[attachment:clustering_slides.pdf]] || || 25.11. 2010 || Independent Component Analysis || [[attachment:ica_slides.pdf]]|| || 02.12. 2010 || Fisher-Diskriminanzanalyse || [[attachment:FDA and LSR.pdf]]|| || 09.12. 2010 || k-nächste Nachbarregel, Regression || || || 16.12. 2010 || Modellselektion || || || 6. 1. 2011 || Statistische Lerntheorie, Kernfunktionen || [[attachment:kernel_intro.pdf]]|| || 13. 1. 2011 || Kernbasiertes Lernen: SVM, KPCA, KFDA || [[attachment:lect_kernels.pdf]] || || 20. 1. 2011 || Neuronale Netze: Perceptron, Backpropagation || [[attachment:lect_kernels.pdf]] || || 27. 1. 2011 || Neuronale Netze: RBF-Netze, Tricks || [[attachment:efficient_backprop.pdf]] || || 3. 2. 2011 || Gaußsche Prozesse || || || 10. 2. 2011 || Relevant Dimension Estimation || [[attachment:rde-tutorial.pdf]] || == Übungszettel == * Blatt 1 [[attachment:full_sheet01.pdf]] * Blatt 2 [[attachment:full_sheet02.pdf]] * Blatt 3 [[attachment:full_sheet03.pdf]] * Blatt 4 [[attachment:full_sheet04.pdf]] [[attachment:sheet04.m]] * Blatt 5 [[attachment:full_sheet05.pdf]] [[attachment:sheet05.m]] * Blatt 6 [[attachment:full_sheet06.pdf]] [[attachment:sheet06.m]] * Blatt 7 [[attachment:full_sheet07.pdf]] [[attachment:sheet07.m]] * Blatt 8 [[attachment:full_sheet08.pdf]] [[attachment:sheet08.m]] * Blatt 9 [[attachment:full_sheet09.pdf]] * Blatt 10 [[attachment:full_sheet10.pdf]] [[attachment:sheet10.m]] [[attachment:sheet10_data.m]] * Blatt 11 [[attachment:full_sheet11.pdf]] [[attachment:sheet11.m]] * Blatt 12 [[attachment:full_sheet12.pdf]] [[attachment:sheet12.m]] * Blatt 13 [[attachment:full_sheet13.pdf]]