麻省理工學院發(fā)現(xiàn)更小更容易訓練的神經(jīng)網(wǎng)絡,或有望推動技術改革
神經(jīng)網(wǎng)絡技術起源于上世紀五、六十年代,當時叫感知機,擁有輸入層、輸出層和一個隱含層。輸入的特征向量通過隱含層變換達到輸出層,在輸出層得到分類結果。
盡管人工智能取得了很大的進步,但現(xiàn)在大多數(shù)基于人工智能的產(chǎn)品仍然依賴于“深度神經(jīng)網(wǎng)絡”。這種網(wǎng)絡通常非常大,而且訓練成本高得令人望而卻步。
麻省理工學院的研究人員希望改變這一現(xiàn)狀。在今天發(fā)表的一篇論文中,研究人員揭示了神經(jīng)網(wǎng)絡中包含的“子網(wǎng)絡”,比之前的網(wǎng)絡小10倍,而且可以更便宜、更快地進行訓練。
為了訓練大多數(shù)神經(jīng)網(wǎng)絡,工程師給它們提供大量的數(shù)據(jù)集,但這可能需要幾天的時間和昂貴的GPUs。
來自麻省理工學院計算機科學和人工智能實驗室(CSAIL)的研究人員發(fā)現(xiàn),在這些訓練有素的網(wǎng)絡中,有更小的子網(wǎng)絡,可以做出同樣準確的預測。
CSAIL所謂的“彩票假說”就是基于這樣一種觀點,即訓練大多數(shù)神經(jīng)網(wǎng)絡就像買所有的彩票,以確保中獎。相比之下,訓練子網(wǎng)就像只買有獎的那張彩票一樣。
問題在于,研究人員還沒有想出如何在不構建完整神經(jīng)網(wǎng)絡的情況下找到這些子網(wǎng),然后修剪掉不必要的位。研究人員目前還沒有找到這些子網(wǎng)絡的方法。
如果他們能找到一種方法跳過這一步,直接進入子網(wǎng)絡,那么這一過程可以節(jié)省數(shù)小時的工作。并使訓練神經(jīng)網(wǎng)絡不僅僅對大公司開發(fā)而且對單個程序員開放。
但是,如何有效地找到子網(wǎng)絡,并明確為什么有些子網(wǎng)在訓練上比其他子網(wǎng)表現(xiàn)地更好,可能會讓研究人員忙上幾年。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術創(chuàng)新應用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
-
8月5日立即報名>> 【在線會議】CAE優(yōu)化設計:醫(yī)療器械設計的應用案例與方案解析
推薦專題