深度學(xué)習(xí)三巨頭之Yoshua Bengio暢談AI如何才能說“人話”
因果邏輯關(guān)系是機器“吃透”人類語言的關(guān)鍵
研究發(fā)現(xiàn)很多實驗室數(shù)據(jù)其實是無效的,一旦環(huán)境改變了,人工智能就會“一臉懵圈”,背后的原因是關(guān)系紐帶的不對,比如圖像識別,實驗者認(rèn)為引發(fā)人工智能做出判斷的因素是圖片的紋理和顏色,而實際上人類在識別圖像時還會考慮因果關(guān)系,這就是差別。
為了攻克這方面的缺陷,科學(xué)家們提出了深度生成模型,它的優(yōu)勢在于通過激勵人工智能在訓(xùn)練中預(yù)測未來,從而通過培養(yǎng)模型的因果邏輯性提升輸出的準(zhǔn)確性,以及深層對抗模型可以不斷提升輸出的準(zhǔn)確性,更重要的是人工智能通過訓(xùn)練最終具備預(yù)測未來以及制定計劃的能力。
在機器學(xué)習(xí)的訓(xùn)練中,不僅需要注意因果邏輯,還需要注意用于訓(xùn)練的樣本數(shù)據(jù)需要遵循獨立同分布原則(Independent and identically distributed):關(guān)注用于訓(xùn)練的數(shù)據(jù)集的代表性和遷移性,樣本數(shù)據(jù)的分布特征必須和測試用數(shù)據(jù)集、母體數(shù)據(jù)保持一致,研究發(fā)現(xiàn)確保數(shù)據(jù)分布一致性可強化訓(xùn)練模型的因果邏輯推理能力。
人工智能娃娃游戲平臺(BabyAIgame)
人工智能娃娃游戲平臺模仿嬰兒的成長過程,設(shè)置了‘學(xué)習(xí)者’和‘人類’的游戲或場景。學(xué)習(xí)者就是‘babyAI’,我們?yōu)閷W(xué)習(xí)者設(shè)計任務(wù),任務(wù)以自然語言的形式出現(xiàn),比如去某個地方、打開、撿、放等,通過與人類用自然語言互動幫助學(xué)習(xí)者理解周圍的環(huán)境。
從科學(xué)實驗的角度出發(fā),項目的實施過程將會是趣味性十足的!
首先,大量的人機交互數(shù)據(jù)(尤其是語言)將會被收集,隨著玩家(人類)越來越多,數(shù)據(jù)庫也會越來越大。
另外,游戲甚至允許人類玩家在游戲中自行設(shè)計任務(wù),任務(wù)難度逐漸提升。
該項目最大的挑戰(zhàn)來自于樣本數(shù)據(jù)的復(fù)雜性,哪怕只是非常簡單的任務(wù),比如讓計算機挪動小件物體,對于訓(xùn)練用的數(shù)據(jù)量要求也是非常巨大的,因此我們首先需要海量的數(shù)據(jù)服務(wù)于這個雄心勃勃的計劃:記錄真實世界中成年人與嬰兒之間互動的數(shù)據(jù)。
“意識先驗”理論:過濾冗余數(shù)據(jù),降低算力消耗
圖片來源: Bengio的演講 Challenges for Deep Learning towards Human-Level AI
傳統(tǒng)的深度學(xué)習(xí)理論需要大量的數(shù)據(jù),注意力機制的出現(xiàn)為解決訓(xùn)練數(shù)據(jù)容量的難題帶來了解決思路,但僅僅具備無意識的認(rèn)知能力(第一類認(rèn)知系統(tǒng))還遠(yuǎn)遠(yuǎn)不夠。
為了將機器的推理能力提升到人類水平,我們在現(xiàn)有模型的基礎(chǔ)上,增加預(yù)測未來的能力,即意識先驗(The Consciousness Prior),直觀的說就是人工智能看到“下雨”,聯(lián)想到“人們會打傘”。
意識先驗借用了注意力機制的部分原理篩選出少量、“高緯”的數(shù)據(jù),用作大量的預(yù)測訓(xùn)練,將無意識層次的數(shù)據(jù)歸類為“低緯數(shù)據(jù)”,使用少量的、更直接的高層次數(shù)據(jù)提升了模型預(yù)測和推理能力,也減少了訓(xùn)練用時,最終成為有“意識”的類人腦。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預(yù)約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
8月5日立即報名>> 【在線會議】CAE優(yōu)化設(shè)計:醫(yī)療器械設(shè)計的應(yīng)用案例與方案解析
推薦專題