Diff for "Main/SS10_MaschinellesLernen2"

Differences between revisions 1 and 26 (spanning 25 versions)

Maschinelles Lernen - Theorie und Anwendung

Integrierte Vorlesung mit Übung

Termine und Dozenten

Termin:	Vorlesung: Dienstag, 10:00 - 12:00 Uhr, Beginn 13.04.2010
Termin:	Übung: Dienstag, 12.00 - 14.00 Uhr, Beginn 13.04.2010
Raum:	FR 1002
Dozent:	Prof. Dr. Klaus-Robert Müller
Ansprechpartner:	Dr. Konrad Rieck, Dr. Mikio Braun

Themen

In dieser Vorlesungen werden weiterführende Themen des Maschinellen Lernens behandelt. Ein besonderer Schwerpunkt wird auf die Anwendung gelegt werden. Mehrere erfolgreiche Anwendungen des Maschinellen Lernens werden besprochen, und auf die jeweiligen Besonderheiten wird eingegangen. Unter anderem werden folgende Themen behabdelt:

halbüberwachtes Lernen
Boosting-Verfahren
Optimierungstheorie
Kernmethoden für strukturierte Daten
Lernen auf strukturierten Daten
Graphische Modelle

Beispiele für erfolgreiche Anwendungen sind unter anderem

Bioinformatik
Erkennen von Angriffen in Computernetzwerken
Textmining

Voraussetzungen

Vorausgesetzt werden Kenntnisse des Maschinellen Lernens (etwa im Rahmen der Veranstaltung Maschinelles Lernen I) und gute Mathematikkenntnisse, insbesondere Wahrscheinlichkeitsrechnung, Statistik, Linear Algebra. Zur Bearbeitung der Übngsaufgaben sind Programmierkenntnisse in Matlab erforderlich, die im Kurs Einführung in die computergestützte Datenanalyse mit Matlab vermittelt werden.

Weitere Informationen

Für die Lehre wurde eine Google-Group eingerichtet. Man muß sich registrieren, um die Beiträge lesen zu können, aber jeder kann sich registrieren.

Vorlesungsplan

Vorläufige Planung der Vorlesungen

Termin	Thema	Materialien
20. April 2010	Non-linear maps	Introduction Overview
27. April 2010	Non-linear maps, non-metric data, empirical kernel map	Siehe auch "Introduction to Machine Learning", "Concepts of Probability for Machine Learning" hier. Link zu t-SNE
4. Mai 2010	Stationary Subspace Analysis	Folien
11. Mai 2010	Canonical Correlation Analysis and Extensions	Folien
18. Mai 2010	Kerne für strukturierte Daten	Folien
25. Mai 2010	Maschinelles Lernen für Intrusion Detection	Folien
25. Mai 2010	Relevante Dimension im Kernelfeaturespace	Folien
1. Juni 2010	Text Mining
8. Juni 2010	Maschinelles Lernen in der Bioinformatik
15. Juni 2010	Maschinelles Lernen in der Bioinformatik
22. Juni 2010	Optimierungstheorie
29. Juni 2010	Large Scale Learning

Übungen

Die Vorlesung wird in einer mündlichen Prüfung abgeprüft. Voraussetzung hierfür ist die erfolgreiche Teilnahme an der Übung. Dies bedeutet, dass 50% der Übungsaufgaben erfolgreich bearbeitet werden müssen und mindestens eine Aufgabe an der Tafel erklärt werden muß.

Blatt 1: full_sheet01.pdf LLE
Blatt 2: full_sheet02.pdf t-SNE. Weitere Dateien: sheet02.m mnist_train.mat
Blatt 3: full_sheet03.pdf Stationary Subspace Analysis ssa_simple.m ssa_data.mat
Blatt 4: full_sheet04.pdf Temporal Kernel Canonical Correlation Analysis tkcca_example.m tkcca_simple.m tkcca_toy_data.mat
Blatt 5: full_sheet05.pdf Kerne und Kernel PCA sheet05.m
Blatt 6: full_sheet06.pdf Kerne für strukturierte Daten
Blatt 7: full_sheet07.pdf Intrusion Detection sheet07.m stud-data.mat.gz
Blatt 8: full_sheet08.pdf Relevant Dimensionality Estimate sheet08.m

IDA Wiki: Main/SS10_MaschinellesLernen2 (last edited 2011-04-27 14:05:33 by PaulBuenau)

-  ⇤ ← Revision 1 as of 2010-04-07 12:33:23 → 
  Size: 4981
  Editor: MikioBraun
  Comment:
+   ← Revision 26 as of 2010-06-01 08:40:31 → ⇥
  Size: 4560
  Editor: MikioBraun
  Comment:
-Deletions are marked like this.
+Additions are marked like this.
 Line 7:
-||<|2> '''Termin:''' || Vorlesung: Dienstag, 10:00 - 12:00 Uhr, Beginn 21.04.2008 ||
||Übung: Dienstag, 12.00 - 14.00 Uhr, Beginn 21.04.2008||
+||<|2> '''Termin:''' || Vorlesung: Dienstag, 10:00 - 12:00 Uhr, Beginn 13.04.2010 ||
||Übung: Dienstag, 12.00 - 14.00 Uhr, Beginn 13.04.2010||
 Line 10:
-|| '''Dozent:''' || Prof. Dr. Klaus-Robert Müller [ [[http://ml.cs.tu-berlin.de/en/klaus/index.html|link]] ]||
|| '''Ansprechpartner:''' || Dr. Mikio Braun [ [[http://ml.cs.tu-berlin.de/~mikio|link]] ]||
+|| '''Dozent:''' || [[http://ml.cs.tu-berlin.de/en/klaus/index.html|Prof. Dr. Klaus-Robert Müller]] ||
|| '''Ansprechpartner:''' || [[http://ml.cs.tu-berlin.de/~rieck/teaching.html|Dr. Konrad Rieck]], [[http://ml.cs.tu-berlin.de/~mikio|Dr. Mikio Braun]] ||
 Line 32:
-Vorausgesetzt werden Kenntnisse des Maschinellen Lernens (etwa im Rahmen der Veranstaltung [[Main/MaschinellesLernenW08|Maschinelles Lernen I]]) und gute Mathematikkenntnisse, insbesondere Wahrscheinlichkeitsrechnung, Statistik, Linear Algebra. Zur Bearbeitung der Übngsaufgaben sind Programmierkenntnisse in Matlab erforderlich, die im Kurs [[Main/SS09_MatlabKurs|Einführung in die computergestützte Datenanalyse mit Matlab]] vermittelt werden.
+Vorausgesetzt werden Kenntnisse des Maschinellen Lernens (etwa im Rahmen der Veranstaltung [[Main/WS09_MaschinellesLernen1|Maschinelles Lernen I]]) und gute Mathematikkenntnisse, insbesondere Wahrscheinlichkeitsrechnung, Statistik, Linear Algebra. Zur Bearbeitung der Übngsaufgaben sind Programmierkenntnisse in Matlab erforderlich, die im Kurs [[Main/SS10_MatlabKurs|Einführung in die computergestützte Datenanalyse mit Matlab]] vermittelt werden.
 Line 43:
-|| 21. April 2009 || Non-linear maps || [[http://www.cs.toronto.edu/~roweis/lle/|LLE]]  ||
|| 28. April 2009 || Non-linear maps, non-metric data, empirical kernel map  || Siehe auch "Introduction to Machine Learning", "Concepts of Probability for Machine Learning" [[Main/MaschinellesLernenW08|hier]]. Link zu [[http://ticc.uvt.nl/~lvdrmaaten/Laurens_van_der_Maaten/t-SNE.html|t-SNE]]||
|| 5. Mai 2009 || Wiederholung maschinelles Lernen || Folien [[attachment:recap2.pdf]] ||
|| 12. Mai 2009 || Halbüberwachtes Lernen und Anwendungen || Folien [[attachment:ssl2.pdf]] ||
|| 19. Mai 2009 || Kerne für strukturierte Daten || Folien [[attachment:structured2.pdf]] ||
|| 26. Mai 2009 || Maschinelles Lernen für Intrusion Detection || Folien [[attachment:intrusion.pdf]] ||
|| 2. Juni 2009 || Relevante Dimension im Kernelfeaturespace || Folien [[attachment:kld-tutorial.pdf]] ||
|| 9. Juni 2009 || Text Mining || Folien [[attachment:textmining.pdf]] ||
|| 16. Juni 2009 || Maschinelles Lernen in der Bioinformatik || Folien [[attachment:bioinf.pdf]] ||
|| 23. Juni 2009 || Maschinelles Lernen in der Bioinformatik || Folien [[attachment:bioinf.pdf]] ||
|| 30. Juni 2009 || Optimierungstheorie || Folien [[attachment:optim-intro.pdf]] ||
|| 7. Juli 2009 || Large Scale Learning || Folien [[attachment:largescale.pdf]] ||
|| 14. Juli 2009 || || ||
+|| 20. April 2010 || Non-linear maps || [[http://www.cse.buffalo.edu/~jcorso/t/555pdf/lleintro.pdf|Introduction]] [[http://www.sciencemag.org/cgi/content/full/290/5500/2323|Overview]]  ||
|| 27. April 2010 || Non-linear maps, non-metric data, empirical kernel map  || Siehe auch "Introduction to Machine Learning", "Concepts of Probability for Machine Learning" [[Main/MaschinellesLernenW08|hier]]. Link zu [[http://ticc.uvt.nl/~lvdrmaaten/Laurens_van_der_Maaten/t-SNE.html|t-SNE]]||
||  4. Mai 2010 || Stationary Subspace Analysis || [[attachment:ssa_lecture.pdf|Folien]]  ||
|| 11. Mai 2010 || Canonical Correlation Analysis and Extensions ||  [[attachment:cca_lecture.pdf|Folien]]  ||
|| 18. Mai 2010 || Kerne für strukturierte Daten || [[attachment:lect-struct.pdf|Folien]] ||
|| 25. Mai 2010 || Maschinelles Lernen für Intrusion Detection || [[attachment:lect-ids.pdf|Folien]] ||
|| 25. Mai 2010 || Relevante Dimension im Kernelfeaturespace || [[attachment:kld-tutorial.pdf|Folien]] ||
|| 1. Juni 2010 || Text Mining ||  ||
|| 8. Juni 2010 || Maschinelles Lernen in der Bioinformatik ||  ||
|| 15. Juni 2010 || Maschinelles Lernen in der Bioinformatik ||  ||
|| 22. Juni 2010 || Optimierungstheorie ||  ||
|| 29. Juni 2010 || Large Scale Learning ||  ||
-Line 60:
+Line 59:
- * Übungsblatt 1: [[attachment:sheet01.pdf]]
 * Übungsblatt 2: [[attachment:sheet02.pdf]] [[attachment:sheet02.m|Programmskelett sheet02.m]]
 * Übungsblatt 3: [[attachment:sheet03.pdf]] [[attachment:sheet03.m|Programmskelett sheet03.m]]
 * Übungsblatt 4: [[attachment:sheet04.pdf]] (korrigierte Version) [[attachment:sheet04.m|Programmskelett sheet04.m]]
 * Übungsblatt 5: [[attachment:sheet05.pdf]]
 * Übungsblatt 6: [[attachment:sheet06.pdf]] [[attachment:sheet06.m|Programmskelett sheet06.m]] [[attachment:stud-data.mat.gz]]
 * Übungsblatt 7: [[attachment:sheet07.pdf]] [[attachment:sheet07.m|Programmskelett sheet07.m]]
 * Übungsblatt 8: [[attachment:sheet08.pdf]] [[attachment:sheet08.py|Programmskelett sheet08.py]] [[attachment:sheet08.m|Programmskelett sheet08.m]] [[attachment:data.tar.gz]]
 * Übungsblatt 9: [[attachment:sheet09.pdf]]
 * Übungsblatt 10: [[attachment:sheet10.pdf]] [[attachment:sheet10.m|Programmskelett sheet10.m]] [[attachment:splice.zip|Splice-Datensatz]]
 * Übungsblatt 11: [[attachment:sheet11.pdf]] [[attachment:sheet11.m|Programmskelett sheet11.m]] [[https://ml01.zrz.tu-berlin.de/~mikio/alpha_train_x.txt.bz2|alpha_train_x.txt.bz2]] [[https://ml01.zrz.tu-berlin.de/~mikio/alpha_train_y.txt.bz2|alpha_train_y.txt.bz2]]
+ * Blatt 1: [[attachment:full_sheet01.pdf]] LLE
 * Blatt 2: [[attachment:full_sheet02.pdf]] t-SNE. Weitere Dateien: [[attachment:sheet02.m]] [[attachment:mnist_train.mat]]
 * Blatt 3: [[attachment:full_sheet03.pdf]] Stationary Subspace Analysis [[attachment:ssa_simple.m]] [[attachment:ssa_data.mat]]
 * Blatt 4: [[attachment:full_sheet04.pdf]] Temporal Kernel Canonical Correlation Analysis [[attachment:tkcca_example.m]] [[attachment:tkcca_simple.m]] [[attachment:tkcca_toy_data.mat]]
 * Blatt 5: [[attachment:full_sheet05.pdf]] Kerne und Kernel PCA [[attachment:sheet05.m]]
 * Blatt 6: [[attachment:full_sheet06.pdf]] Kerne für strukturierte Daten
 * Blatt 7: [[attachment:full_sheet07.pdf]] Intrusion Detection [[attachment:sheet07.m]] [[attachment:stud-data.mat.gz]]
 * Blatt 8: [[attachment:full_sheet08.pdf]] Relevant Dimensionality Estimate [[attachment:sheet08.m]]