over 3 years ago

這篇paper是篇傳統的survey paper,完整的把Transfer learning這個idea的動機、歷史,乃至於各家流派的方法都講得很清楚,如果想了解transfer learning的話是個很好入門的必讀刊物。

首先我們必須要先知道,什麼是transfer learning呢?
Transfer Learning想達到的目標其實很簡單,就是能利用之前已經有的知識,來對新的data的問題,產生一些幫助。


如上圖所示,左邊是傳統的learning流程,右邊則是Transfer Learning,將Source Task變成Knowledge後去幫助我們新的想達到的Target Task。

Transfer Learning根據Source Task與Target Task的不同,Transfer Learning也分成兩種。
下面這個table,是Transfer Learning簡單的分類。

由上圖可知,傳統的Machine Learning的Task,Source和Target的Domain和Task是相同的,如果兩者Domain相同但Task不同,就稱作Inductive Transfer Learning,反之則稱為Transductive Transfer Learning

知道簡單的分類法則後,就可以對這兩種Transfer Learning來作探討:

Transductive Learning: 簡單的idea就是,因為Source和Target之間的Domain不相同,但卻有相關性,所以Transductive就是要想辦法去學其中的相關性。如下列的方程式,加上了P(Dt)/P(Ds)這個penalty的term,來達到我們想要的目的。

← [Paper critique] Online Dictionary Learning for Sparse Coding [Paper critique] A Global Geometric Framework for nonlinear Dimensionality Reduction →