Differences between revisions 1 and 31 (spanning 30 versions)

Maschinelles Lernen I

Termine und Informationen

Die integrierte Vorlesung "Maschinelles Lernen 1" ist eine Pflichtveranstaltung im Modul "Maschinelles Lernen 1" und umfasst 6 LP. Detailliertere Informationen zur Veranstaltung und zum Modul finden sich im Vorlesungsverzeichnis und im Modulhandbuch.

Vorlesung	Donnerstags, 10 - 12 (ab 20.10.2011)
Raum	FR 7039
Übung	Donnerstags, 12 - 14 (ab 20.10.2011)
Raum	FR 7039
Dozenten	Prof. Dr. Klaus-Robert Müller
Dozenten	Franz Király
Sprechzeiten	Prof. Dr. Klaus-Robert Müller: nach Vereinbarung
Sprechzeiten	Dr. Franz Király: nach Vereinbarung

Themen

Die Vorlesung behandelt einführende Themen im Bereich des Maschinellen Lernens.

Im Anschluss an die Vorlesung findet die Übung statt, in der die erlernten Methoden vertieft werden.

Vorkenntnisse

Vorausgesetzte Vorkenntnisse für die Veranstalung sind:

Grundlagenwissen in der Linearen Algebra und Analysis, entsprechend den Modulen Lineare Algebra und Analysis
Grundkenntnisse in der Wahrscheinlichkeitstheorie, entsprechend dem Modul Elementare Stochastik
Grundlegende Programmierkenntnisse, Umgang mit Matlab

Nützliche Vorkenntnisse, gemäß Modulhandbuch:

Lineare Algebra II
Analysis II und III
Stochastik I und II
Computerorientierte Mathematik I und II
Funktionalanalysis
Numerik I
Diskrete Mathematik I

Leistungsnachweis und Prüfungsrelevanz

Eine erfolgreiche Teilnahme an dieser Integrierten Vorlesung sowie mindestens einer Wahlpflichtveranstaltung sind Voraussetzung für die Anmeldung zur Modulprüfung Maschinelles Lernen 1. Der Stoff der Modulprüfung besteht aus dem Stoff der Vorlesung und der Übungen sowie des Wahlpflichtteils.

Erfolgreich an der Integrierten Vorlesung teilgenommen hat wer:

Mindestens 50% der Übungspunkte auf den Übungsblättern erhalten hat.
Mindestens 50% der Aufgaben zum Vorrechnen bzw. Erklären votiert hat. Die Anwesenheit ist zum Votieren in der Regel erforderlich; nach vorheriger Rücksprache kann davon im Einzelfall abgewichen werden.
Mindestens eine votierte Aufgabe richtig vorgerechnet hat.

Übungen

Die Übungen finden jeden Donnerstag nach der Vorlesung in FR 7039 statt. Die Übungskoordination erfolgt über das ISIS-System der TU. Für die Anmeldung ist ein tubIT-Konto erforderlich. Als Neben- oder Gasthörer kann man dieses bei der tubIT erhalten. Dazu muss unter persönlicher Vorlage einer gültigen Neben- oder Gasthörerbescheinigung im tubIT-Laden ein Provisionierungsverfahren beantragt werden.

Die ISIS-Diskussionsforen können für Fragen zur Veranstaltung und zu den Übungen in Anspruch genommen werden - die Verantwortlichen bemühen sich um eine zeitnahe Beantwortung der offenen Fragen.

Matlab ist auf dem vom IRB verwalteten System installiert und kann mit /home/ml/ml/bin/matlab gestartet werden. Die Computer des IRB lassen sich nur mit einem IRB-Login nutzen, der für Nutzer eines tubIT-Kontos beim IRB elektronisch beantragbar ist.

Abgabemodalutäten:

Die Lösungen zu den Aufgaben der vorigen Woche sind jeweils in der darauffolgenden Woche bis Dienstag 10:00 MEZ einzureichen.
Die Lösungen zu den theoretischen Aufgaben sind handschriftlich im Briefkasten vor Raum FR6061 abzugeben.
Die Abgabe der Lösungen zu den praktischen Aufgaben erfolgt über ISIS.
Die Übungen dürfen in festen Zweiergruppen bearbeitet und abgegeben werden.

Bei der Abgabe der Lösungen ist Folgendes zu beachten:

Die Lösungen sollten gut erklärt und strukturiert sein: Mathematische Beweise müssen genügend erklärenden Text erhalten, die die Beweisstrategie und die gezogenen Schlussfolgerungen verdeutlichen. Programmcode muss ausreichend dokumentiert und den üblichen Konventionen entsprechend formatiert sein. Insbesondere ist auf eine lesbare Namensgebung und eine - visuell wie konzeptionell - klare Struktur zu achten.
Die Lösungen müssen selbst erarbeitet und niedergeschrieben werden. Natürlich ist es nicht verboten, über die Aufgaben und ihre Lösung zu diskutieren. Handfester Betrug wie wörtliches Übernehmen von Passagen oder Verwenden von Lösungen aus dem Internet aber zeugt von einem falschen Verständnis der vereinzelten Wahrnehmung eines Kairos, und wird kann daher mit der Nichtanerkennung von Leistungen bis zum Nichtbestehen geahndet.

Literatur und Links

Folgene Bücher geben eine umfassende Einführung in den Bereich des Maschinellen Lernens.

Christopher M. Bishop (2006) Pattern Recognition And Machine Learning , Springer.
Richard O. Duda, Peter E. Hart, David G. Stork (2001) Pattern Classification , Wiley (2. Auflage).
Trevor Hastie, Robert Tibshirani, Jerome Friedman (2001) The Elements of Statistical Learning, Springer.

Folgende Bücher geben eine umfassende Einführung in die Wahrscheinlichkeitstheorie und in die Statistik.

G. Bamberg, F. Baur (2006) Statistik, Oldenbourg-Verlag, 12. Auflage
L. Fahrmeir, R. Künstler, I. Pigeot, G. Tutz (2004) Statistik , Springer, 5. Auflage
L. Wasserman (2004) All of Statistics, Springer

Die wichtigsten Gleichungen für das Rechnen mit Matrizen und insbesondere die Ableitungsregeln für höherdimensionale Funktionen findet man hier:

K. B. Petersen, M. S. Pedersen (2007) The Matrix Cookbook. Technical University of Denmark [ externer link ]

Terminplan

Datum	Thema	Material
20. 10. 2010	Einführung

Übungszettel

Blatt 1

IDA Wiki: Main/WS11_MaschinellesLernen1 (last edited 2012-03-30 12:10:25 by FranzKiraly)

-  ⇤ ← Revision 1 as of 2011-07-11 15:33:25 → 
  Size: 5321
  Editor: FranzKiraly
  Comment:
+   ← Revision 31 as of 2011-10-12 23:29:38 → ⇥
  Size: 6510
  Editor: FranzKiraly
  Comment:
-Deletions are marked like this.
+Additions are marked like this.
 Line 1:
-= Vorlesung Einführung in Maschinelles Lernen =
+= Maschinelles Lernen I =
 Line 5:
-Es handelt sich um eine integrierte Vorlesung mit Übung. Dieser Kurs ist eine Basisveranstaltung. Siehe auch den [[https://lsf.zuv.tu-berlin.de/qisserver/servlet/de.his.servlet.RequestDispatcherServlet?state=wsearchv&search=2&veranstaltung.veranstid=98075&purge=y|Eintrag im Vorlesungsverzeichnis]]
+Die integrierte Vorlesung "Maschinelles Lernen 1" ist eine Pflichtveranstaltung im Modul "Maschinelles Lernen 1" und umfasst 6 LP. Detailliertere Informationen zur Veranstaltung und zum Modul finden sich im [[http://lsf.zuv.tu-berlin.de/qisserver/servlet/de.his.servlet.RequestDispatcherServlet?state=verpublish&status=init&vmfile=no&publishid=121809&moduleCall=webInfo&publishConfFile=webInfo&publishSubDir=veranstaltung|Vorlesungsverzeichnis]] und im [[http://www.eecs.tu-berlin.de/menue/studium_und_lehre/informationsmaterial/modulhandbuecher/|Modulhandbuch]].
 Line 11:
-||<(^|3>'''Dozenten'''||[[http://www.ml.tu-berlin.de/menue/mitglieder/klaus-robert_mueller/|Prof. Dr. Klaus-Robert Müller]]||
+||<(^|2>'''Dozenten'''||[[http://www.ml.tu-berlin.de/menue/mitglieder/klaus-robert_mueller/|Prof. Dr. Klaus-Robert Müller]]||
 Line 16:
-Es gibt eine [[http://groups.google.com/group/ml-tu|Google group]], in der aktuelle Ankündigungen zur Vorlesung zu finden sind. Dort können auch Fragen gestellt werden (z.B. Fehler auf dem Aufgabenblatt). Man muß angemeldet sein, um die Inhalte lesen zu können, der Zugang ist jedoch jedem offen.
-Line 20:
+Line 18:
-Die Vorlesung behandelt einführende Themen im Bereich des maschinellen Lernens. 

Im Einzelnen wird sich die Vorlesung mit den folgenden Themen beschäftigen:

   * Grundlagen Wahrscheinlichkeitstheorie
   * Maximum Likelihood Schätzer und Bayes'sche Inferenz
   * Hauptkomponentenanalyse
   * Faktoranalyse
   * K-means Clustering
   * Lineare Diskriminanzanalyse
   * K-nächste Nachbarklassifikation
   * Least Mean Squares Klassifikation
   * Fisher Diskriminanten
   * Regression
   * Modellselektion
   * Supportvektormaschinen
   * Radialbasisfunktionsnetze
   * Gauss'sche Prozesse
+Die Vorlesung behandelt einführende Themen im Bereich des Maschinellen Lernens.
-Line 43:
+Line 24:
-Kenntnisse in Linearer Algebra und Grundkenntnisse in Wahrscheinlichkeitsrechnungsind werden '''''vorausgesetzt'''''. Zur Lösung eines Teils der Hausaufgaben werden Kenntnisse in einer mathematischen/statistischen Software benötigt. Wir empfehlen die Benutzung von matlab bzw. octave. Letzteres ist unter [[http://www.octave.org|www.octave.org]] frei erhältlich. Matlab ist auf dem vom irb verwalteten System installiert und kann mit `/home/ml/ml/bin/matlab` gestartet werden.
+Vorausgesetzte Vorkenntnisse für die Veranstalung sind:
   * Grundlagenwissen in der Linearen Algebra und Analysis, entsprechend den Modulen Lineare Algebra und Analysis
   * Grundkenntnisse in der Wahrscheinlichkeitstheorie, entsprechend dem Modul Elementare Stochastik
   * Grundlegende Programmierkenntnisse, Umgang mit Matlab

Nützliche Vorkenntnisse, gemäß Modulhandbuch:
   * Lineare Algebra II
   * Analysis II und III
   * Stochastik I und II
   * Computerorientierte Mathematik I und II
   * Funktionalanalysis
   * Numerik I
   * Diskrete Mathematik I

=== Leistungsnachweis und Prüfungsrelevanz ===

Eine erfolgreiche Teilnahme an dieser Integrierten Vorlesung sowie mindestens einer Wahlpflichtveranstaltung sind Voraussetzung für die Anmeldung zur Modulprüfung Maschinelles Lernen 1. Der Stoff der Modulprüfung besteht aus dem Stoff der Vorlesung und der Übungen sowie des Wahlpflichtteils.

Erfolgreich an der Integrierten Vorlesung teilgenommen hat wer:

   * Mindestens 50% der Übungspunkte auf den Übungsblättern erhalten hat.
   * Mindestens 50% der Aufgaben zum Vorrechnen bzw. Erklären votiert hat. Die Anwesenheit ist zum Votieren in der Regel erforderlich; nach vorheriger Rücksprache kann davon im Einzelfall abgewichen werden.
   * Mindestens eine votierte Aufgabe richtig vorgerechnet hat.
-Line 47:
+Line 50:
-Die Vorlesung wird mit einer mündlichen Prüfung abgeschlossen. Voraussetzung hierfür ist die erfolgreiche Teilnahme an der Übung. Dies bedeutet, dass 50% der Übungsaufgaben erfolgreich bearbeitet werden müssen und mindestens eine Aufgabe an der Tafel erklärt werden muss.
+Die Übungen finden jeden Donnerstag nach der Vorlesung in FR 7039 statt. Die Übungskoordination erfolgt über das [[https://www.isis.tu-berlin.de|ISIS-System]] der TU. Für die Anmeldung ist ein tubIT-Konto erforderlich. Als Neben- oder Gasthörer kann man dieses bei der [[http://www.tubit.tu-berlin.de|tubIT]] erhalten. Dazu muss unter persönlicher Vorlage einer gültigen Neben- oder Gasthörerbescheinigung im [[http://www.tubit.tu-berlin.de/index.php?id=1810|tubIT-Laden]] ein Provisionierungsverfahren beantragt werden.
-Line 49:
+Line 52:
-Einige Hinweise zu den Abgaben:
+Die ISIS-Diskussionsforen können für Fragen zur Veranstaltung und zu den Übungen in Anspruch genommen werden - die Verantwortlichen bemühen sich um eine zeitnahe Beantwortung der offenen Fragen.
-Line 51:
+Line 54:
-. Die Übungsblätter sind jede Woche bis '''Mittwoch 12:00''' im Raum FR6061 abzugeben. 
   1. Die Lösungen zu theoretischen Aufgaben sind '''handschriftlich''' abzugeben.
   1. Die praktischen Aufgaben sollen per Email ('''franz.j.kiraly@tu-berlin.de''') und in Papierform abgegeben werden.
   1. Die Übungsblätter dürfen in festen Zweier- und Dreiergruppen bearbeitet und abgegeben werden.
+Matlab ist auf dem vom IRB verwalteten System installiert und kann mit `/home/ml/ml/bin/matlab` gestartet werden. Die Computer des IRB lassen sich nur mit einem IRB-Login nutzen, der für Nutzer eines tubIT-Kontos beim [[http://www.eecs.tu-berlin.de/irb|IRB]] elektronisch [[http://www.eecs.tu-berlin.de/irb/v-menu/dienste_irb-login/migration_zum_tub-login/|beantragbar]] ist.
 Line 56:
-Darüber hinaus beachtet bitte folgende Hinweise:
+Abgabemodalutäten:
 Line 58:
-   * Die Lösungen sollten gut erklärt und strukturiert sein. Insbesondere sollte Programmcode auch ausreichend dokumentiert und den üblichen Konventionen entsprechend formatiert sein (z.B. Einrückungen).
   * Natürlich müssen die Lösungen selbst erarbeitet und niedergeschrieben werden. Selbst wenn man sich "Anregungen" besorgt hat, muß der Lösungsweg selbst verstanden und unabhängig niedergeschrieben werden. Wörtliche Kopien anderer Lösungen oder aus dem Internet sind ein Vergehen, für das entsprechende Konsequenzen vorgesehen sind.
   * Es kommt immer wieder vor, dass Studenten die Übungsaufgaben bearbeiten wollen, aber aus terminlichen Gründen nicht an der Übung selbst teilnehmen können. Bitte klärt das mit Eurem Übungsleiter ab und holt Eure Lösungen regelmäßig ab, um den Lernerfolg sicherzustellen.
+   * Die Lösungen zu den Aufgaben der vorigen Woche sind jeweils in der darauffolgenden Woche bis '''Dienstag 10:00 MEZ''' einzureichen. 
   * Die Lösungen zu den theoretischen Aufgaben sind '''handschriftlich''' im Briefkasten vor Raum FR6061 abzugeben.
   * Die Abgabe der Lösungen zu den praktischen Aufgaben erfolgt über [[https://www.isis.tu-berlin.de|ISIS]].
   * Die Übungen dürfen in festen Zweiergruppen bearbeitet und abgegeben werden.

Bei der Abgabe der Lösungen ist Folgendes zu beachten:

   * Die Lösungen sollten gut erklärt und strukturiert sein: Mathematische Beweise müssen genügend erklärenden Text erhalten, die die  Beweisstrategie und die gezogenen Schlussfolgerungen verdeutlichen. Programmcode muss ausreichend dokumentiert und den üblichen Konventionen entsprechend formatiert sein. Insbesondere ist auf eine lesbare Namensgebung und eine - visuell wie konzeptionell - klare Struktur zu achten.
   * Die Lösungen müssen selbst erarbeitet und niedergeschrieben werden. Natürlich ist es nicht verboten, über die Aufgaben und ihre Lösung zu diskutieren. Handfester Betrug wie wörtliches Übernehmen von Passagen oder Verwenden von Lösungen aus dem Internet aber zeugt von einem falschen Verständnis der vereinzelten Wahrnehmung eines Kairos, und wird kann daher mit der Nichtanerkennung von Leistungen bis zum Nichtbestehen geahndet.