Block-Seminar ``Representations in Machine Learning"

Vorbesprechung am 20.10.2009 um 14:00 Uhr im Raum FR 6046.

Language

• English

Topics

• Grundlagen zu verschiedenen Konzepten des Lernens von Repraesentationenen und 'Features'
• Artikel der aktuellen Forschung zB zu deep, learning autoencoders, convolutional nets, etc
• MDL, Kernel PCA, etc

Das Blockseminar wird Grundlagen-Artikel und Artikel der aktuellen Forschung besprechen, die sich mit Alternativen zu standard graphischen Modellen, und insbesondere mit dem Lernen von Repraesentationen.

Voraussetzungen

• basics in Machine Learning, probabilistic & graphical models

Papers

• Weston et al: Deep Learning via Semi-Supervised Embedding (ICML 2008) http://www.kyb.tuebingen.mpg.de/bs/people/weston/papers/deep_embed.pdf

• Hinton et al: A Fast Learning Algorithm for Deep Belief Nets (Neural Computation) http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf

• Tishby et al: The Information Bottleneck Method http://www.cis.upenn.edu/~pereira/papers/allerton.pdf

• Honton et al: Reducing the Dimensionality of Data with Neural Networks (Science) http://www.cs.toronto.edu/~hinton/science.pdf

• Schoelkopf et al: Kernel Principal Component Analysis http://www.eecs.berkeley.edu/~wainwrig/stat241b/scholkopf_kernel.pdf

• Gruenwald: A Tutorial Introduction to the Minimum Description Length Principle http://homepages.cwi.nl/~pdg/ftp/mdlintro.pdf

• DeBie et al: Eigenproblems in Pattern Recognition http://www.meduniwien.ac.at/user/roman.rosipal/Papers/eig_book04.pdf

• Welling: Herding Dynamical Weights to Learn (ICML 2009) http://www.cs.mcgill.ca/~icml2009/papers/447.pdf

• LeCun et al: Gradient-Based Learning Applied to Document Recognitionhttp://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf

Further reading

• Domingos: Structured Machine Learning: Ten Problems for the Next Ten Years http://www.cs.washington.edu/homes/pedrod/papers/ilp07.pdf

• Bengio et al: Scaling Learning Algorithms towards AI. http://yann.lecun.com/exdb/publis/pdf/bengio-lecun-07.pdf