頂會競賽最后5天被Facebook超越,又大比分反超奪冠是什么體驗?
一種簡單的利用方式是將Mega Detector預(yù)測的BBox 裁剪出來,同原圖一起送給網(wǎng)絡(luò)進(jìn)行訓(xùn)練,這樣可以有效環(huán)節(jié)ROI 尺寸過小的問題。 不過這種方案的缺陷在于,如此訓(xùn)練分類網(wǎng)絡(luò),會使得網(wǎng)絡(luò)獲得兩個scale完全不同的輸入,一個是原圖,一個是BBox裁剪出的圖像,這會對分類網(wǎng)絡(luò)學(xué)習(xí)特征帶來一定的干擾。
為此,團(tuán)隊修改了策略,同時訓(xùn)練兩個網(wǎng)絡(luò)。分別輸入原始圖像,和Mega detector裁剪出的置信度最高的bbox圖像。 在預(yù)測階段,再將網(wǎng)絡(luò)的輸出進(jìn)行Ensemble,從而可以同時捕捉到原圖全局的信息和BBox中前景的信息。 挑戰(zhàn)二:不同背景造成的問題 除過ROI 儲存過小之外,另一個問題是訓(xùn)練集的camera trap 取景位置和測試集的camera trap 不相交所導(dǎo)致的背景差異問題。
訓(xùn)練集圖片均來自于藍(lán)色點表示的區(qū)域,它和紅色區(qū)域沒有相交。 因此這會造成domain shift的問題。即在訓(xùn)練地表現(xiàn)好的模型并不一定也會在test地有同樣表現(xiàn)。因為模型有可能學(xué)到一些和location相關(guān)的信息,而它們不是可以用于分類動物的通用信息。 此外,與正常的domain adaptation不同,iWildCam 的訓(xùn)練集包括很多不同domain(如果將每個camera trap地點作為一個domain,則訓(xùn)練集包含441個,而測試集包含111個)。 因此,如果能利用訓(xùn)練集中的位置標(biāo)注來幫助網(wǎng)絡(luò)學(xué)習(xí)location invariant的特征,那么網(wǎng)絡(luò)就可捕捉更多與位置無關(guān)而和分類相關(guān)的信息。 對此,domain adaptation領(lǐng)域非常著名的論文Unsupervised domain adaption by backpropagation為團(tuán)隊提供了啟發(fā)。
如上圖首先可以假設(shè),如果在原來的2048維上加一個額外位置(location)的classifier,那么網(wǎng)絡(luò)提取的特征就會傾向于將不同location的特征相互推遠(yuǎn)。如上方右圖所示(不同形狀表示不同類別,不同顏色表示不同),雖然每個類別的特征之間有分類的可分性約束,但是location之間的相互排斥也會導(dǎo)致一些location圖片的特征被推到一個不太有利于分類的局面,從而導(dǎo)致網(wǎng)絡(luò)學(xué)到的特征并不能實現(xiàn)location invariant,從而在測試集上表現(xiàn)欠佳。 對此,文章提出一個非常簡單的梯度翻轉(zhuǎn)的技巧來實現(xiàn)location invariant。
如上方左圖所示,在梯度反傳經(jīng)過location classifier時將梯度乘-1,從而實現(xiàn)翻轉(zhuǎn)梯度的方向。
因此在右圖可以看到,原本的推開不同location之間特征的梯度經(jīng)過翻轉(zhuǎn)后,會將其一起拉近。在加上分類的約束后,可以保證網(wǎng)絡(luò)學(xué)到的特征表示實現(xiàn)location invariant,并且還能保證分類的效果,提高網(wǎng)絡(luò)對之前未見的location的泛化性能。 挑戰(zhàn)三:數(shù)據(jù)長尾分布
上方指數(shù)圖展示的是數(shù)據(jù)的分布情況,可以看到數(shù)目最多的類別有超過十萬張圖,而最少的類別可能只有不到十張圖片,一般而言,將類別數(shù)多的類別稱為head類,類別數(shù)少的類別稱為tail類 。 因此,如果直接隨機(jī)采樣batch來訓(xùn)練分類模型,會見到很多head類樣本,而tail類樣本則很少見到,這樣會使得模型更偏向于預(yù)測head類而不是tail類,從而損傷網(wǎng)絡(luò)的表示能力。 因此,對于長尾分布,一般有兩種解決方案,一種是Re-Sampling, 另外一種是Re- Weighting。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
8月5日立即報名>> 【在線會議】CAE優(yōu)化設(shè)計:醫(yī)療器械設(shè)計的應(yīng)用案例與方案解析
推薦專題