about 3 years ago

本篇Paper對feature learning的一些方法和本質都有做出深入的探討,分享了一些他的觀察,並對unsupervised feature learning,deep learning,auto-encoders,manifold learning與deep networks等領域上近年來的進展都有個大概的介紹。

其中我覺得很實用的就是作者所分享的,怎樣才是一個好的representation該有的特質這部分,如下:

1. Smoothness & the curse of dimensionality
2. Distributed representation
3. Feature reuse
4. Disentangling factors of variation
5. Simplicity of factor dependencies
6. A hierarchical organization of explanatory factors

Learning的方法中,RBM(Restricted Boltzmann Machine)和Auto-encoder與Sparse coding的概念其實我覺得都很類似,雖然方法各異,不過都是有種透過encode成codeword的representation,再利用codeword重新reconstruct input,並將error minimize,藉此來學到好的codeword representation。

← [Paper critique] Spectral Hashing [Paper critique] Spectral Hashing →