性生交生活影碟片,十次啦av导航,偷偷摘套内射激情视频

谷歌公布新研究BiT探索大規(guī)模數(shù)據(jù)如何影響預訓練模型性能

2020-05-28 11:28

計算機視覺的研究人員在利用現(xiàn)代深度神經網(wǎng)絡解決問題時常常會無奈地感受到其對數(shù)據(jù)的龐大需求，當前很多先進的CNN模型都需要在像OpenImages和Places這樣包含上百萬張標注圖片的數(shù)據(jù)集上進行訓練。然而對于很多領域的應用來說，收集如此海量的數(shù)據(jù)其時間和經濟成本幾乎是常人無法承受的。

為了解決計算機視覺領域缺乏數(shù)據(jù)的問題，人們提出了預訓練模型的遷移學習方法，通過在大規(guī)模的通用數(shù)據(jù)上進行預訓練而后再復用到目標任務上，用少量數(shù)據(jù)對模型進行適應性調優(yōu)。

盡管預訓練模型在實踐中十分有效，但它仍不足以迅速地在新場景下掌握概念并進行深入的理解，在工程實踐中還面臨著一系列問題。由于大規(guī)模的預訓練使得BERT和T5等方法在語言領域取得了巨大的進展，研究人員堅信大規(guī)模的預訓練可以有效提升計算機視覺任務的性能。

為了充分研究大規(guī)模預訓練和遷移學習的內在機理和規(guī)律，來自谷歌的研究人員發(fā)表了一篇名為BigTransfer的論文，探索了如何有效利用超常規(guī)的圖像數(shù)據(jù)規(guī)模來對模型進行預訓練，并對訓練過程進行的系統(tǒng)深入的研究。研究人員發(fā)現(xiàn)，隨著預訓練數(shù)據(jù)的增加，恰當?shù)剡x擇歸一化層、拓展模型架構的容量對于預訓練的結果至關重要。

在有效的調整和訓練后，這種方法展示了多個領域的視覺任務上展現(xiàn)了前所未有的適應性和先進的性能，包括小樣本是識別任務和最近提出的真實數(shù)據(jù)基準ObjectNet上都取得了非常優(yōu)異的成績。

預訓練

為了探索數(shù)據(jù)規(guī)模對于模型性能的影響，研究人員重新審視了目前常用的預訓練配置（包括激活函數(shù)和權重的歸一化，模型的寬度和深度以及訓練策略），同時利用了三個不同規(guī)模的數(shù)據(jù)集包括：ILSVRC－2012 （1000類128萬張圖像）， ImageNet－21k （2．1萬類的1400萬張圖像）和 JFT （1．8萬類的三億張圖像），更重要的是基于這些數(shù)據(jù)研究人員可以探索先前未曾涉足的數(shù)據(jù)規(guī)模。

研究人員首先探索了數(shù)據(jù)集規(guī)模和模型容量間的關系，選擇了ResNet不同的變體進行訓練。從標準大小的“R50x1”到x4倍寬度的，再到更深度152層“R152x4”，都在上面的數(shù)據(jù)集上進行了訓練。隨后研究人員獲得了關鍵的發(fā)現(xiàn)，如果想要充分利用大數(shù)據(jù)的優(yōu)勢，就必須同時增加模型的容量。

下圖左半部分箭頭開頭的擴大顯示了這一結論，數(shù)據(jù)量增大的情況下容量更大的模型性能增加更大，而容量小的模型反而會有一定程度地下降。

左半部分顯示了隨著數(shù)據(jù)量的增加需要擴充模型的容量，紅色箭頭的擴大意味著小模型架構在大數(shù)據(jù)集下變差，而大模型架構則得到改善。右圖顯示了在大數(shù)據(jù)集下的預訓練并不一定改善，而是需要提高訓練時間和計算開銷來充分利用大數(shù)據(jù)的優(yōu)勢。

其次，訓練的時間對模型性能也具有關鍵的作用。如果在大規(guī)模數(shù)據(jù)集上沒有進行充分地訓練調整計算開銷的話，性能會有顯著下降（上圖中有半部分紅色點到藍色點下降），但通過適當?shù)卣{整模型訓練時間就能得到顯著的性能提升。

在探索的過程中研究人員還發(fā)現(xiàn)了適當?shù)臍w一化可以有效提升性能。下圖中展示了將批歸一化BN替換為組歸一化GN后可以有效提升預訓練模型在大規(guī)模數(shù)據(jù)集上的性能，其原因主要來源于兩個方面。

首先在從預訓練遷移到目標任務時BN的狀態(tài)需要進行調整，而GN卻是無狀態(tài)的從而避開了需要調整的困難；其次，BN利用每一批次的統(tǒng)計信息，但這對于每個設備上的小批量來說這種統(tǒng)計信息會變得不可靠，而對于大型模型來說多設備上的訓練不可避免。由于GN不需要計算每個批次的統(tǒng)計信息，又一次成功避開了這一問題。