動(dòng)態(tài)生成掩膜預(yù)測(cè)網(wǎng)絡(luò)生成模型CondInst,助力FCN重奪實(shí)例檢測(cè)顛峰
CondInst的主要架構(gòu),C表示主干網(wǎng)絡(luò)的特征圖,P則為FPN的特征圖。Fmask是對(duì)應(yīng)的特征圖。head被作用于各個(gè)特征圖P得到分類(lèi)結(jié)果和對(duì)應(yīng)的網(wǎng)絡(luò)頭生成參數(shù)(動(dòng)態(tài)生成的maskFCN個(gè)數(shù)與實(shí)例個(gè)數(shù)相同)。
CondInst中使用了依賴(lài)實(shí)例的濾波器,隱式地將實(shí)例概念編碼到了mask頭的參數(shù)中去,更為靈活的處理。針對(duì)非規(guī)則形狀可以比規(guī)則的bbox更好的進(jìn)行處理,這是相較于ROI方法的優(yōu)勢(shì)之一。
CondInst構(gòu)建與目標(biāo)檢測(cè)架構(gòu)FCOS上,充分利用其簡(jiǎn)單和靈活性。去除了FCOS的錨分支減少計(jì)算量。上圖中顯示了模型充分利用了特征金字塔,在每一層級(jí)都會(huì)有上圖虛線(xiàn)框中表示的功能層來(lái)進(jìn)行實(shí)例相關(guān)的預(yù)測(cè),計(jì)算出目標(biāo)類(lèi)別的實(shí)例和動(dòng)態(tài)生成濾波器的參數(shù)。上圖中還包括了mask分支從P3層引出來(lái)計(jì)算特征圖。
最終輸出的掩膜大小是原始圖像的1/8.為了獲取高分辨率的實(shí)例掩膜,利用4倍上采樣來(lái)得到最終的掩膜圖像。
實(shí) 驗(yàn)
為了充分研究這一模型的有效性,研究人員在COCO數(shù)據(jù)集上對(duì)模型進(jìn)行了訓(xùn)練。首先測(cè)試了mask端的寬度和深度,來(lái)選擇最為合適的架構(gòu)大小。
實(shí)驗(yàn)表明深度為1效果最差,這是由于模型沒(méi)有足夠的容量,而達(dá)到3后則增加不明顯甚至下降。針對(duì)模型的寬度研究發(fā)現(xiàn),這一因素對(duì)于模型的性能影響較小。針對(duì)寬度為8深度為3的基線(xiàn)mask head模型,在V100上其運(yùn)行時(shí)間僅僅需要4.5mm/100個(gè)實(shí)例,僅需要169個(gè)參數(shù)。這說(shuō)明這種動(dòng)態(tài)生成方法對(duì)主干網(wǎng)絡(luò)造成的額外開(kāi)銷(xiāo)非常少,與之對(duì)比的是Mask R-CNN的mask head則包含有2.3M個(gè)參數(shù)。
在選擇完合適的參數(shù)后,研究人員將設(shè)計(jì)好的架構(gòu)與多種先進(jìn)的方法進(jìn)行了比較,下表中可以看到這種方法在性能上超過(guò)了傳統(tǒng)的實(shí)例分割算法:
其中1x 代表90k迭代訓(xùn)練。aug代表了數(shù)據(jù)增強(qiáng)。w/sem是指利用了輔助的語(yǔ)義分割任務(wù)。
最后來(lái)一起看看這種緊湊高效的網(wǎng)絡(luò)結(jié)果,性能優(yōu)異速度又快,真香!

發(fā)表評(píng)論
登錄
手機(jī)
驗(yàn)證碼
立即登錄即可訪(fǎng)問(wèn)所有OFweek服務(wù)
還不是會(huì)員?免費(fèi)注冊(cè)
忘記密碼請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
最新活動(dòng)更多
-
7月22-29日立即報(bào)名>> 【線(xiàn)下論壇】第三屆安富利汽車(chē)生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠(chǎng)展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
-
8月5日立即報(bào)名>> 【在線(xiàn)會(huì)議】CAE優(yōu)化設(shè)計(jì):醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專(zhuān)題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺(jué)語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣(mài)機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫(huà)了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 張勇等人退出阿里合伙人
- 10 AI視頻,攪動(dòng)1.5萬(wàn)億市場(chǎng)