over 3 years ago

本篇paper主要是提出了一個benchmark,能評估在巨量的dataset中做分類問題的結果好壞。
她們同樣的也提出了一些他們在過程中找到的許多有趣的現象,像是rank-based的algorithm並不如我們想像中的,贏過one-vs-rest的方法。同樣的,當dataset的size愈來愈大的時候,不同的演算法間的差距會愈縮愈小,以及在one-vs-rest時,如果在切folds時有先對positive和negtive的數量做控管,會有很大的影響。最後就是,如果使用early stopping這個技巧,可以讓SGD(Stochastic Gradient Descent)時變得很有效率。

而上圖是這篇的作者所提出的,對於想在巨量的dataset上做分類問題時所需要注意的一些問題與建議。

作者也做了一系列的實驗去證明他所說的事項,如下圖為reweighting對OVR(One-Vs-Rest),尤其是在dimension較小時,會有巨大的影響。

下圖則是顯示出early stopping的好處,在dataset愈來愈大時,regularization其實反而是限制了他的發展空間,所以可以知道隨著dataset的size來調整regularization的term會讓performance好上許多。

← [Paper critique] Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups [Paper critique] Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups →