Praktikum Maschinelles Lernen und Datenanalyse

Im Praktikum Maschinelles Lernen und Datenanalyse soll der Prozess der explorativen Datenanalyse geübt werden. Der Schwerpunkt liegt auf den Themengebieten Visualisierung und Dimensionsreduktion, Klassifikation mit Neuronalen Netzen, Hidden-Markov-Modelle auf Genomdaten und Support-Vektor-Maschinen. Die Aufgaben sind kombinierte Programmier- und Simulationsaufgaben in Matlab, C oder Python/Shogun.

Der Besuch des Blockseminars Einführung in die computergestützte Datenanalyse mit Matlab und R wird empfohlen. Grundlegende Kentnisse des Maschinellen Lernen sind sehr hilfreich, bei grossem Interesse und Engagement aber keine zwingende Voraussetzung.

Die Veranstaltung gliedert sich in zwei Teile: Eine Vorlesung, in der Methoden und Theorie der Aufgaben vermittelt werden (Montags 10:00 - 12:00 Uhr) und eine gemeinsame Sprechstunde (14:00 - 16:00 Uhr), in der wir Fragen und Probleme besprechen, die bei der Bearbeitung der Aufgaben auftauchen.

Termine

Material

Übungsblätter

• Übungsblatt 1: Matlab, Daten (usps.mat), Mitschnitt der Matlab-Vorführung (Matlab_diary.txt).

• Übungsblatt 2: Dimensionsreduktion (PCA, Isomap, LLE), Daten (flatroll.mat, swissroll.mat, usps.mat, fishbowl.mat). Hinweis: Zur Visualisierung der echten Einbettung eignet sich beispielsweise scatter3(X(1,:), X(2,:), X(3,:), [], true_embedding).

• Übungsblatt 3: Clustering: Daten (usps.mat, U03_2gaussians.dat, U03_5gaussians.dat).

• Übungsblatt 4: Grundlagen der Klassifikation: Daten (U04_datasets.zip)

• Übungsblatt 5: Support-Vektor-Maschinen: Daten (U05_datasets.zip)

• Übungsblatt 6: Belief Propagation: Daten (ratbert-debate.mat, tu_logo.mat, long_words.mat). Hinweis: Die Bilder koennen mit colormap('gray'); imagesc(I); geplottet werden.

Vorlaeufiger Plan

• Übungsblatt 3 (2 Wochen, 21.5.-4.6.2007): Clustering (k-means, EM, Hierarchical Clustering)

• Übungsblatt 4 (2 Wochen, 4.6.-18.6.2007): Basics zu classification & model selection (Loss functions, cross validation, kernel ridge regression, decision trees, boosting)

• Übungsblatt 5 (2 Wochen, 18.6.-2.7.2007): Support-Vector-Maschinen
• Übungsblatt 6 (2 Wochen, 2.7.-16.7.2007): Bayesian inference in graphical models (factor graphs, loopy belief propagation)

Musterloesungen

• Übungsblatt 1: Aufgabe1.m, Aufgabe2.m, Aufgabe3.m, Aufgabe4.m, Aufgabe5.m

Links

• Isomap homepage Isomap paper

• LLE homepage LLE paper

Allgemeine Literaturempfehlungen zum Machine Learning

Als allgemeine Einführung in Theorie und Methoden des Maschinellen Lernens empfehlen wir die folgenden Lehrbücher.

• Duda, Hart, Stork. Pattern Classification.

• Bishop. Pattern recognition and machine learning.

• MacKay. Information theory, inference, and learning algorithms.

Eine auf die Aufgaben abgestimmte Literaturliste wird noch bekannt gegeben.

Literatur zu Matlab:

• Learning Matlab by doing Matlab

• Biran, Adrian. MATLAB für Ingenieure

Skript

• Skript zum Praktikum

Prüfungsmodalitäten

Die Endnote setzt sich zusammen aus den Leistungen in den Uebungsblaettern (50%) und einer muendlichen Abschlusspruefung (50%).

Die Pruefung wird ab Anfang September stattfinden.

Ergebnisse

---

Interna (Mikio & Paul)