over 3 years ago

本篇Paper主要是介紹了LLE(locally linear embedding)這個方法,能夠同時結合了PCA和MDS的優點,能夠在符合global的structure的同時,也保有local的特性。

LLE主要是架構在幾個簡單的觀察上: 當distance大到一個尺度後,距離的大小就變得沒有意義,所以我們找出的新的representation只要還能維持住原本的topological的順序就好,不一定要preserve住原本的距離長短差異。
另外一個觀察是,因為LLE是用與鄰居的linear combination去表示一個地方,所以也能夠preserve locality。

1) 找出每個data point的鄰居(例如用KNN找出)
2) 用鄰居們的linear combination去組出原本的data point(用min-square error)
3) 找出一個降維過的representaiton,一樣用min-square error)

透過上述步驟,我們就知道該如何去計算LLE了,而LLE也可以跟其他的方法一起使用,讓效果更好。
如此簡單又有效的方法,實在相當難得。

← [Paper critique] Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups [Django] How to install Django →