華為高級研究員謝凌曦: 下一代人工智能計算模型探索
導(dǎo) 讀
為什么、難在哪、怎么做:——下一代人工智能計算模型探索
Next Generation of AI-Computing Models:——Why, What, and How下一代人工智能計算模型,主要是使用一些自動化技術(shù)幫助我們設(shè)計更好的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),并在任務(wù)中提升性能。本文會重點從Why、What、How這3個地方重點講解。
第一部分 什么是網(wǎng)絡(luò)架構(gòu)搜索(NAS)?為什么很重要?
一、AI領(lǐng)域未來面臨的挑戰(zhàn)
有3件事是確定的:數(shù)據(jù)(data),模型(model),知識(knowledge)
1. 數(shù)據(jù)
Data-efficiency:如何利用有限或多模態(tài)數(shù)據(jù)訓(xùn)練模型?
在如今的數(shù)據(jù)爆炸時代,會產(chǎn)生海量的數(shù)據(jù),其中只有很少的數(shù)據(jù)有數(shù)據(jù)標注,大量的數(shù)據(jù)沒有數(shù)據(jù)標注,且數(shù)據(jù)很“臟”。于是引出了第一個問題:如何從海量數(shù)據(jù)重,真正學(xué)習(xí)到自己想要的東西。
AI未來的發(fā)展方向是從全監(jiān)督發(fā)展成自監(jiān)督和無監(jiān)督的方向。
2. 模型
Auto-learning:如何為人工智能應(yīng)用設(shè)計強大高效的模型?
這一代的計算模型主要是基于深度學(xué)習(xí)的,尤其是卷積神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)在圖像識別領(lǐng)域的應(yīng)用,使得原先的模型從手工識別特征發(fā)展到自動學(xué)習(xí)特征。
基于這種發(fā)展的趨勢,我們將模型繼續(xù)推進一步,使得深度學(xué)習(xí)的網(wǎng)絡(luò)設(shè)計也從手動轉(zhuǎn)為自動。這是模型部分所面臨的挑戰(zhàn)。
3. 知識
Knowledge-aware:如何定義和存儲知識,使訓(xùn)練后的模型安全可靠?
現(xiàn)有模型的算法,大部分都是擬合和訓(xùn)練數(shù)據(jù),并不能保證擬合得到的結(jié)果具備分析常識的能力,即“不能真正地學(xué)習(xí)知識”。由于計算機缺乏常識,對知識的學(xué)習(xí),可能會成為AI未來5年的研究方向。
二、AutoML介紹
本文的重點是模型部分,主要分析手動和自動,這兩種思路的區(qū)別。
2017年自動化網(wǎng)格搜索架構(gòu)被提出后,“手動更好”還是“自動更好”這類爭論不斷。在爭論的過程中逐漸催生出了一個新的方向,稱為自動化機器學(xué)習(xí)(AutoML)。這一方向在工業(yè)界得到了更多的關(guān)注度。
工業(yè)界的關(guān)注度超過學(xué)術(shù)結(jié),主要有兩個原因:
(1) 工業(yè)界的算力更強。
AutoML算法對計算資源的消耗非常大。例如,Google發(fā)表的NAS方面的論文,需要上萬個GPU /天才能完成這樣的計算。
(2) 工業(yè)界有很強的需求。AutoML可以幫工業(yè)界節(jié)省很多的開發(fā)成本。
以華為為例,華為有各種各樣不同的手機產(chǎn)品,從旗艦機到低端的手機,芯片的計算能力會差很多。用戶會需要在不同的手機中完成相似的功能(如拍視頻),因此針對不同的芯片需要設(shè)計不同的網(wǎng)絡(luò)架構(gòu)以滿足用戶的需求;另一方面,用戶的需求(如清晰度的要求)是實時變化的,如果使用人工機器學(xué)習(xí)算法,會帶來巨大的人力投入。基于此,工業(yè)界存在自動化算法的需求。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預(yù)約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
-
8月5日立即報名>> 【在線會議】CAE優(yōu)化設(shè)計:醫(yī)療器械設(shè)計的應(yīng)用案例與方案解析
推薦專題