遮擋反光下拍照無(wú)壓力—臺(tái)大提出新型遮擋去除模型還你清晰視界
在拍照時(shí)不期而遇的遮擋會(huì)讓照片的效果大打折扣,從窗戶(hù)玻璃的反光到雨滴的遮擋都在影響著清晰的成像,而去除這些惱人的遮擋也是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究?jī)?nèi)容。
最近來(lái)自臺(tái)大、谷歌等機(jī)構(gòu)的研究人員提出了一種基于前景背景運(yùn)動(dòng)差異的學(xué)習(xí)方法,通過(guò)深度學(xué)習(xí)交替光流場(chǎng)估計(jì)和圖像重建實(shí)現(xiàn)了高質(zhì)量的遮擋去除和前景、背景的重建,同時(shí)還利用在線(xiàn)優(yōu)化的方法提高了對(duì)于多種真實(shí)場(chǎng)景的適應(yīng)能力。
從反射遮擋中獲取清晰的圖像
從反光的玻璃或遮擋的前景中獲取清晰的圖像一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一,從反光或者遮擋物體的混合圖像中獲取清晰的圖像將有助于提升包括機(jī)器人感知、安防監(jiān)控等多種視覺(jué)應(yīng)用等性能。
目前解決這一問(wèn)題的方法主要集中于單張圖像去除和多幀去除兩個(gè)角度;趩螏姆椒ǔ浞掷冒▓D像先驗(yàn)和離焦線(xiàn)索的方法來(lái)對(duì)遮擋部分進(jìn)行識(shí)別和重建。雖然取得了優(yōu)異的結(jié)果,但是從遮擋/反射混合的圖像中分離出清晰的背景和前景卻在根本上是一個(gè)病態(tài)問(wèn)題,通常需要對(duì)場(chǎng)景有著更高級(jí)別的語(yǔ)義理解。實(shí)際使用中當(dāng)面臨分布外圖像時(shí),基于學(xué)習(xí)的算法會(huì)發(fā)生嚴(yán)重的退化。
為了解決這些問(wèn)題,研究人員開(kāi)始利用多幀圖像來(lái)處理遮擋反射問(wèn)題。對(duì)于相機(jī)來(lái)說(shuō),拍照時(shí)背景和遮擋物具有不同的深度,通過(guò)小幅度運(yùn)動(dòng)拍攝的多幀照片將有利于分離出兩層結(jié)構(gòu)間的不同運(yùn)動(dòng)。已經(jīng)有很多工作充分利用運(yùn)動(dòng)線(xiàn)索來(lái)對(duì)前景遮擋進(jìn)行去除,但對(duì)于對(duì)于多幀視頻處理需要消耗大量的計(jì)算資源,同時(shí)也需要滿(mǎn)足嚴(yán)格的光照連續(xù)性假設(shè)和精確的運(yùn)動(dòng)估計(jì)結(jié)果。雖然研究人員開(kāi)始利用無(wú)模型的3DCNN來(lái)解決這些問(wèn)題,但卻無(wú)法在真實(shí)輸入序列中獲得與優(yōu)化方法可比擬的效果。
為了實(shí)現(xiàn)更為迅速、高效、高精度的遮擋去除和重建結(jié)果,在這一工作中研究人員提出了一種結(jié)合深度學(xué)習(xí)與優(yōu)化方法多幀的遮擋去除方案。在優(yōu)化思路的啟發(fā)下,本文由粗到精地交替估計(jì)稠密運(yùn)動(dòng)和重建前景/背景圖像。對(duì)于稠密運(yùn)動(dòng)的顯式建模使得算法可以漸進(jìn)地重建出前景和背景層。
本文的方法沒(méi)有構(gòu)建手工的目標(biāo)函數(shù)來(lái)構(gòu)建圖像,而是采用了基于學(xué)習(xí)的方法來(lái)融合流反射變換圖像來(lái)適應(yīng)不滿(mǎn)足光照連續(xù)性和光流估計(jì)誤差。在通過(guò)合成數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練后,為了提高針對(duì)真實(shí)序列的生成質(zhì)量,研究人員還增加了在線(xiàn)優(yōu)化過(guò)程來(lái)對(duì)結(jié)果進(jìn)行提升。
下圖顯示了算法的整體流程,這一漸進(jìn)式的模型通過(guò)由粗到精的過(guò)程,經(jīng)過(guò)L層的處理不斷提升生成結(jié)果的質(zhì)量。

發(fā)表評(píng)論
登錄
手機(jī)
驗(yàn)證碼
立即登錄即可訪(fǎng)問(wèn)所有OFweek服務(wù)
還不是會(huì)員?免費(fèi)注冊(cè)
忘記密碼請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
最新活動(dòng)更多
-
7月22-29日立即報(bào)名>> 【線(xiàn)下論壇】第三屆安富利汽車(chē)生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
-
8月5日立即報(bào)名>> 【在線(xiàn)會(huì)議】CAE優(yōu)化設(shè)計(jì):醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專(zhuān)題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺(jué)語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣(mài)機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫(huà)了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 張勇等人退出阿里合伙人
- 10 AI視頻,攪動(dòng)1.5萬(wàn)億市場(chǎng)