Facebook AI發(fā)力,2D照片變3D
最先進(jìn)的機(jī)器學(xué)習(xí)算法可以從照片中提取二維物體,并在三維中忠實(shí)地呈現(xiàn)它們。這種技術(shù)可以適用于增強(qiáng)現(xiàn)實(shí)的應(yīng)用程序、機(jī)器人以及導(dǎo)航,因此它成為Facebook的一個(gè)重要研究領(lǐng)域。
在近日于首爾舉辦的國(guó)際計(jì)算機(jī)視覺(jué)會(huì)議(ICCV)之前,F(xiàn)acebook在一篇博客文章中強(qiáng)調(diào)了其在智能內(nèi)容理解方面的最新進(jìn)展。據(jù)透露,它的系統(tǒng)甚至可以用來(lái)檢測(cè)復(fù)雜的前景和背景對(duì)象,如椅子腿或重疊的家具。
“我們研究的最新進(jìn)展是建立在利用深度學(xué)習(xí)來(lái)預(yù)測(cè)和定位圖像中的物體,以及用新的工具和架構(gòu)來(lái)理解三維形狀,如體素、點(diǎn)云和網(wǎng)格,”Facebook的研究人員Georgia Gkioxari、Shubham Tulsiani和David Novotny在一篇博客中寫(xiě)道!叭S理解將在提高人工智能系統(tǒng),更貼近地理解、解釋和操作現(xiàn)實(shí)世界的能力方面發(fā)揮核心作用!
其中一個(gè)亮點(diǎn)是Mesh R-CNN,這是一種能夠從雜亂和遮擋物體的圖像中預(yù)測(cè)三維形狀的方法。
Facebook的研究人員表示,他們?cè)陂_(kāi)源的Mask R-CNN的二維目標(biāo)分割系統(tǒng)上增加了一個(gè)網(wǎng)格預(yù)測(cè)分支,并使用一個(gè)包含高度優(yōu)化的三維操作符的庫(kù)(Torch3d),來(lái)進(jìn)一步支持該系統(tǒng)。Mesh R-CNN有效地利用了Mask R-CNN對(duì)圖像中不同的物體進(jìn)行檢測(cè)和分類(lèi),然后利用上述的預(yù)測(cè)器對(duì)三維形狀進(jìn)行推斷。
Facebook表示,在公共可用的Pix3D語(yǔ)料庫(kù)上進(jìn)行評(píng)估后,Mesh R-CNN成功地檢測(cè)到所有類(lèi)別的物體,并在家具場(chǎng)景中估計(jì)它們的完整三維形狀。在一個(gè)單獨(dú)的數(shù)據(jù)集上(ShapeNet ),Mesh R-CNN比之前的研究有7%的相對(duì)優(yōu)勢(shì)。
Facebook開(kāi)發(fā)的另一個(gè)系統(tǒng)是Canonical 3D Pose Networks,簡(jiǎn)稱(chēng)為C3DPO,解決了網(wǎng)格和相應(yīng)圖像無(wú)法用于訓(xùn)練的情況。建立三維關(guān)鍵點(diǎn)模型重建,利用二維關(guān)鍵點(diǎn)監(jiān)控實(shí)現(xiàn)最先進(jìn)的重建結(jié)果。(這里的關(guān)鍵點(diǎn)指的是被跟蹤的物體部分,它們提供了一組關(guān)于幾何圖形及其視角變化的線(xiàn)索。)
C3DPO利用重建模型預(yù)測(cè)相應(yīng)攝像機(jī)視點(diǎn)參數(shù)和三維關(guān)鍵點(diǎn)位置。輔助組件與模型一起學(xué)習(xí),以解決在分解三維視點(diǎn)和形狀時(shí)引入的模糊性。
Facebook指出,這種重建在以前是可以實(shí)現(xiàn)的,部分原因是內(nèi)存限制。C3DPO體系結(jié)構(gòu)可以在硬件無(wú)法捕獲的情況下進(jìn)行三維重建,比如對(duì)大型的對(duì)象。
“(三維)計(jì)算機(jī)視覺(jué)有許多開(kāi)放的研究問(wèn)題,我們正在試驗(yàn)多種問(wèn)題陳述、技術(shù)和監(jiān)督方法,以探索推動(dòng)該領(lǐng)域向前發(fā)展的最佳方式,就像我們?cè)诙S理解領(lǐng)域所做的那樣,”Gkioxari、Tulsiani和Novotny表示!半S著數(shù)字世界適應(yīng)并轉(zhuǎn)向使用3D照片、沉浸式AR和VR體驗(yàn)等產(chǎn)品,我們需要不斷推動(dòng)復(fù)雜的系統(tǒng)更準(zhǔn)確地理解視覺(jué)場(chǎng)景中的對(duì)象并與之互動(dòng)!

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
-
機(jī)器人奧運(yùn)會(huì)戰(zhàn)報(bào):宇樹(shù)機(jī)器人摘下首金,天工Ultra搶走首位“百米飛人”
-
存儲(chǔ)圈掐架!江波龍起訴佰維,索賠121萬(wàn)
-
長(zhǎng)安汽車(chē)母公司突然更名:從“中國(guó)長(zhǎng)安”到“辰致科技”
-
豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
-
字節(jié)AI Lab負(fù)責(zé)人李航卸任后返聘,Seed進(jìn)入調(diào)整期
-
員工持股爆雷?廣汽埃安緊急回應(yīng)
-
中國(guó)“智造”背后的「關(guān)鍵力量」
-
小米汽車(chē)研發(fā)中心重磅落地,寶馬家門(mén)口“搶人”
最新活動(dòng)更多
-
10月23日火熱報(bào)名中>> 2025是德科技創(chuàng)新技術(shù)峰會(huì)
-
10月23日立即報(bào)名>> Works With 開(kāi)發(fā)者大會(huì)深圳站
-
10月24日立即參評(píng)>> 【評(píng)選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評(píng)選
-
11月27日立即報(bào)名>> 【工程師系列】汽車(chē)電子技術(shù)在線(xiàn)大會(huì)
-
12月18日立即報(bào)名>> 【線(xiàn)下會(huì)議】OFweek 2025(第十屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 【限時(shí)福利】TE 2025國(guó)際物聯(lián)網(wǎng)展·深圳站
推薦專(zhuān)題
- 1 人形機(jī)器人,正狂奔在批量交付的曠野
- 2 3 解碼特斯拉新AI芯片戰(zhàn)略 :從Dojo到AI5和AI6推理引擎
- 4 AI版“四萬(wàn)億刺激”計(jì)劃來(lái)了
- 5 2025年8月人工智能投融資觀察
- 6 一家被嚴(yán)重低估的國(guó)產(chǎn)AI巨頭
- 7 a16z最新AI百?gòu)?qiáng)榜:硅谷頂級(jí)VC帶你讀懂全球生成式AI賽道最新趨勢(shì)
- 8 Manus跑路,大廠掉線(xiàn),只能靠DeepSeek了
- 9 地平線(xiàn)的野心:1000萬(wàn)套HSD上車(chē)
- 10 AI走進(jìn)育種溫室,"吉兒"究竟改變了什么?