Block-Seminar ``Representations in Machine Learning"
Vorbesprechung am 20.10.2009 um 14:00 Uhr im Raum FR 6046.
Language
- English
Topics
- Grundlagen zu verschiedenen Konzepten des Lernens von Repraesentationenen und 'Features'
- Artikel der aktuellen Forschung zB zu deep, learning autoencoders, convolutional nets, etc
- MDL, Kernel PCA, etc
Das Blockseminar wird Grundlagen-Artikel und Artikel der aktuellen Forschung besprechen, die sich mit Alternativen zu standard graphischen Modellen, und insbesondere mit dem Lernen von Repraesentationen.
Voraussetzungen
basics in Machine Learning, probabilistic & graphical models
Papers
Weston et al: Deep Learning via Semi-Supervised Embedding (ICML 2008) http://www.kyb.tuebingen.mpg.de/bs/people/weston/papers/deep_embed.pdf
Hinton et al: A Fast Learning Algorithm for Deep Belief Nets (Neural Computation) http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf
Tishby et al: The Information Bottleneck Method http://www.cis.upenn.edu/~pereira/papers/allerton.pdf
Honton et al: Reducing the Dimensionality of Data with Neural Networks (Science) http://www.cs.toronto.edu/~hinton/science.pdf
Schoelkopf et al: Kernel Principal Component Analysis http://www.eecs.berkeley.edu/~wainwrig/stat241b/scholkopf_kernel.pdf
Gruenwald: A Tutorial Introduction to the Minimum Description Length Principle http://homepages.cwi.nl/~pdg/ftp/mdlintro.pdf
DeBie et al: Eigenproblems in Pattern Recognition http://www.meduniwien.ac.at/user/roman.rosipal/Papers/eig_book04.pdf
Welling: Herding Dynamical Weights to Learn (ICML 2009) http://www.cs.mcgill.ca/~icml2009/papers/447.pdf
LeCun et al: Gradient-Based Learning Applied to Document Recognitionhttp://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf
Further reading
Domingos: Structured Machine Learning: Ten Problems for the Next Ten Years http://www.cs.washington.edu/homes/pedrod/papers/ilp07.pdf
Bengio et al: Scaling Learning Algorithms towards AI. http://yann.lecun.com/exdb/publis/pdf/bengio-lecun-07.pdf