亚洲av成人无码网天堂,少妇白浆高潮无码免费区,小污女小欲女导航,色欲久久综合亚洲精品蜜桃,亚洲,欧美,日韩,综合

陳左寧院士

近年來(lái)人工智能(AI)對(duì)計(jì)算算力、計(jì)算環(huán)境提出了新要求。那么,如今高性能計(jì)算機(jī)對(duì)AI的適應(yīng)性到底怎樣?是不是隨著AI對(duì)算力的需求越來(lái)越大,在經(jīng)典的HPC上進(jìn)行適當(dāng)?shù)母倪M(jìn)——比如增加一些加速部件,就能滿足這些需求?

在2020全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)(HPC China 2020)上,中國(guó)工程院副院長(zhǎng)、中國(guó)科協(xié)副主席、中國(guó)工程院院士陳左寧對(duì)這些問(wèn)題,給出了她思考后得出的結(jié)論。

經(jīng)典HPC并不最適于AI對(duì)算力的需求陳左寧院士的結(jié)論有三層意思:

經(jīng)典高性能計(jì)算機(jī)算力環(huán)境可以支持現(xiàn)有人工智能的模型算法,但從性能功耗比和性價(jià)比來(lái)講都比較低。經(jīng)典高性能計(jì)算機(jī)并不最合適用于AI對(duì)算力的需求,要去匹配AI,需要?jiǎng)?chuàng)新體系結(jié)構(gòu)和軟件架構(gòu)。隨著智能計(jì)算理論的演進(jìn),可能會(huì)突破圖靈“可計(jì)算性理論”的范疇,比如類(lèi)腦計(jì)算和量子計(jì)算,可能會(huì)帶來(lái)體系結(jié)構(gòu)和軟件新的突破,但還有待研究。用8個(gè)字總結(jié)一下就是,可用、不契合、待改善。當(dāng)然,陳左寧院士在這里提及的AI,是加了限定詞的:比如“云端AI”、“做訓(xùn)練的AI”,那些與數(shù)據(jù)訓(xùn)練有關(guān)的、數(shù)據(jù)規(guī)模和模型規(guī)模大到一個(gè)芯片不足以支撐的AI。這個(gè)結(jié)論,是陳院士經(jīng)過(guò)細(xì)致分析后得出的。她提出,要研究AI對(duì)算力的需求,首先要追本溯源:目前AI的本征是什么、它“本征地”對(duì)算力的需求是什么。

當(dāng)前,人工智能三個(gè)流派——符號(hào)主義、連接主義、行為主義日趨融合、協(xié)同發(fā)展,這三個(gè)流派也都在指向“反映‘關(guān)系’”。

也就是說(shuō)人工智能的核心特征之一就是反映“關(guān)系”。

那么“關(guān)系”的計(jì)算,有哪些特征?

陳左寧院士給出了答案:在高維空間中,開(kāi)放的、多點(diǎn)的、不確定的近似計(jì)算。

經(jīng)典高性能計(jì)算能否對(duì)應(yīng)這些特征?不能——

首先,高維空間——經(jīng)典高性能計(jì)算隨著計(jì)算復(fù)雜度的提升,也在向高維發(fā)展;但與AI計(jì)算相比,經(jīng)典高性能計(jì)算的模型是確定的,模型確定后可以降維,可以在確定的模型框架下,來(lái)判別是否收斂、是否合適降維。但對(duì)于AI計(jì)算來(lái)說(shuō),模型很多不確定,高維計(jì)算就很難降維。

其次,開(kāi)放——經(jīng)典超算模型也是多點(diǎn)的,但不是開(kāi)放的;在一個(gè)計(jì)算空間里,經(jīng)典超算不是像AI那樣開(kāi)放的。比如AI模型數(shù)據(jù)越多,提取特征越多。

最后,不確定的近似計(jì)算——這是一種概率計(jì)算,不是精確的數(shù)值計(jì)算,這是跟經(jīng)典高性能計(jì)算非常不一樣的地方。

基于上述3點(diǎn),陳左寧院士得出結(jié)論:經(jīng)典高性能計(jì)算機(jī)并不最合適用于AI對(duì)算力的需求。

當(dāng)前AI模型和算法的七大發(fā)展趨勢(shì)要讓經(jīng)典高性能計(jì)算機(jī)能夠更好服務(wù)于AI計(jì)算,我們需要了解和發(fā)現(xiàn)AI模型及算法的發(fā)展趨勢(shì)。

陳左寧院士總結(jié),當(dāng)前人工智能模型和算法有七大發(fā)展趨勢(shì):

向無(wú)監(jiān)督學(xué)習(xí)的方向發(fā)展。

現(xiàn)在的深度學(xué)習(xí)模型,多是有監(jiān)督的學(xué)習(xí),因此需要大量數(shù)據(jù)、大量標(biāo)注、大量計(jì)算。為了減少數(shù)據(jù)標(biāo)注和計(jì)算開(kāi)銷(xiāo),未來(lái)AI模型越來(lái)越青睞“無(wú)監(jiān)督學(xué)習(xí)”。

進(jìn)而,HPC就要適應(yīng)“小數(shù)據(jù)”對(duì)算力的需求:如主動(dòng)學(xué)習(xí),強(qiáng)調(diào)人機(jī)交互能力和數(shù)據(jù)整合能力;遷移學(xué)習(xí),要求對(duì)大數(shù)據(jù)的預(yù)訓(xùn)練;強(qiáng)化學(xué)習(xí),注重信息采集能力和概率計(jì)算能力。

AI的可解釋性越來(lái)越重要。

AI的可解釋性,是AI邁向更負(fù)責(zé)任的AI的有效途徑。AI模型也發(fā)展出透明模型和事后可解釋模型。

它們對(duì)算力的具體需求是,將可解釋技術(shù)融入到軟件環(huán)境中,包括為現(xiàn)有軟件框架增加可解釋技術(shù)的接口、發(fā)展以人為中心由決策理論驅(qū)動(dòng)可解釋AI的概念框架(簡(jiǎn)言之就是要將“人的解釋”與模型框架融為一體 )。

AI模型邁向自學(xué)習(xí)、自演化。

邁向自學(xué)習(xí)、自演化的AI模型目前有如AutoML等。支撐自動(dòng)機(jī)器學(xué)習(xí)模型,要求計(jì)算框架能夠支撐AI的這種自學(xué)習(xí)能力,如大算力支撐、輔助設(shè)備支撐等。

多種算法、模型的有機(jī)組合。

AI的這一趨勢(shì)已經(jīng)很明顯了。目前單一算法越來(lái)越難以解決實(shí)際問(wèn)題,勢(shì)必需要多種模型的有機(jī)融合。而且,人工智能模型的發(fā)展也希望融入多種技術(shù)來(lái)解決已有問(wèn)題。同時(shí),人工智能的應(yīng)用流程越來(lái)越復(fù)雜,也需要不同的算法和模型組合。

這對(duì)算力的需求體現(xiàn)為,算力系統(tǒng)的計(jì)算存儲(chǔ)等具備可擴(kuò)展能力,基礎(chǔ)軟件通過(guò)能力提升可支持復(fù)雜模型、不同類(lèi)別軟件的協(xié)同和交互。

圖中視覺(jué)問(wèn)題就需要多種模型組合

AI應(yīng)用越來(lái)越需要關(guān)注全生命周期。

AI模型生命周期包括設(shè)計(jì)、數(shù)據(jù)預(yù)處理、部署、推理等,不同節(jié)點(diǎn)的任務(wù)具有不同的時(shí)間、空間和計(jì)算需求;且全生命周期都要考慮可解釋、公平等需求。

分布式、分散式的需求越來(lái)越突出。

大型、復(fù)雜模型,海量數(shù)據(jù)需要并行、分布式計(jì)算;聯(lián)邦學(xué)習(xí)等分散場(chǎng)景原生性地需要分布式機(jī)器學(xué)習(xí)原生算法。

深度推理。

清華大學(xué)教授唐杰在《從知識(shí)圖譜到認(rèn)知圖譜:歷史、發(fā)展與展望》中提到,人工智能沿著“計(jì)算—感知—認(rèn)知—意識(shí)”發(fā)展,對(duì)算力的需求也從最初的表示、計(jì)算、存儲(chǔ)+人機(jī)輸入/輸出,逐步過(guò)渡到知識(shí)數(shù)據(jù)驅(qū)動(dòng)、認(rèn)知推理、決策智能甚至要求支撐自學(xué)習(xí)、記憶機(jī)理,進(jìn)一步發(fā)展出有(無(wú))意識(shí)處理器。

陳左寧認(rèn)為,這反映出AI對(duì)計(jì)算需求的演進(jìn)。有可能未來(lái)智能化程度越高,對(duì)計(jì)算的需求越顛覆,以至于現(xiàn)有的圖靈可計(jì)算的技術(shù)無(wú)法支撐。這一方面需要計(jì)算平臺(tái)要能夠有效應(yīng)對(duì)多種形式的不確定性(如概率計(jì)算、類(lèi)腦仿腦體系結(jié)構(gòu)、模擬計(jì)算),另一方面則寄希望于認(rèn)知理論的進(jìn)一步突破。