人工智能之支持向量機(jī)(SVM)
--(2)
其中,α, σ 和 b 是訓(xùn)練數(shù)據(jù)后產(chǎn)生的值?梢酝ㄟ^(guò)調(diào)節(jié)σ來(lái)匹配維度的大小,σ越大,維度越低。
SVM核心思想:
SVM目的是找到一個(gè)線性分類的最佳超平面 f(x)=xwT+b=0。求 w 和 b。首先通過(guò)兩個(gè)分類的最近點(diǎn),找到f(x)的約束條件。有了約束條件,就可以通過(guò)拉格朗日乘子法和KKT條件來(lái)求解,這時(shí),問(wèn)題變成了求拉格朗日乘子αi 和 b。對(duì)于異常點(diǎn)的情況,加入松弛變量ξ來(lái)處理。使用序列最小化SMO(Sequential Minimal Optimization)來(lái)求拉格朗日乘子αi和b。注意:有些αi=0的點(diǎn),可以不用在分類器中考慮。
1)線性分類可以使用公式(1)和公式(2),對(duì)于公式(1)需要求解 w 和 b;對(duì)于公式(2)需要求解拉格朗日乘子αi和b;
2)非線性分類只能使用公式(2),不能使用公式(1),因?yàn)楣剑?)是線性函數(shù)。非線性分類的問(wèn)題將向量映射到高維度,需要使用核函數(shù)。
SVM實(shí)質(zhì):
支持向量機(jī)(SVM)將向量映射到一個(gè)更高維的空間里,在這個(gè)空間里建立有一個(gè)最大間隔超平面。在分開(kāi)數(shù)據(jù)的超平面的兩邊建有兩個(gè)互相平行的超平面。建立方向合適的分隔超平面使兩個(gè)與之平行的超平面間的距離最大化。其假定為,平行超平面間的距離或差距越大,分類器的總誤差越小。
SVM關(guān)鍵因素:
SVM的關(guān)鍵在于核函數(shù)。低維空間向量集通常難于劃分,解決的方法是將它們映射到高維空間。但這個(gè)辦法帶來(lái)的困難就是計(jì)算復(fù)雜度的增加,而核函數(shù)正好巧妙地解決了這個(gè)問(wèn)題。也就是說(shuō),只要選用適當(dāng)?shù)暮撕瘮?shù),可以得到高維空間的分類函數(shù)。在SVM理論中,采用不同的核函數(shù)將導(dǎo)致不同的SVM算法。在確定了核函數(shù)之后,由于確定核函數(shù)的已知數(shù)據(jù)也存在一定的誤差,考慮到推廣性問(wèn)題,因此引入了松弛系數(shù)以及懲罰系數(shù)兩個(gè)參變量來(lái)加以校正。在確定了核函數(shù)基礎(chǔ)上,再經(jīng)過(guò)大量對(duì)比實(shí)驗(yàn)等將這兩個(gè)系數(shù)取定,則問(wèn)題基本搞定。
SVM常用方法:
1)一對(duì)多法:把某一種類別的樣本當(dāng)作一個(gè)類別,剩余其他類別的樣本當(dāng)作另一個(gè)類別,這樣就變成了一個(gè)兩分類問(wèn)題。然后,在剩余的樣本中重復(fù)上面的步驟`這種方法箱要構(gòu)造k個(gè)SVM模型,其中,k是待分類的個(gè)數(shù)。這種方案的缺點(diǎn)是訓(xùn)練樣本數(shù)目大,訓(xùn)練困難。
2)一對(duì)一法: 在多值分類中,每次只考慮兩類樣本,即對(duì)每?jī)深悩颖驹O(shè)計(jì)一個(gè)SVM模型,因此,總共需要設(shè)計(jì)k(k一l) /2個(gè)SVM模型。需要構(gòu)造多個(gè)二值分類器,且測(cè)試時(shí)需要對(duì)每?jī)深惗歼M(jìn)行比較,導(dǎo)致算法計(jì)算復(fù)雜度很高。
SVM決策樹法:它通常和二叉決策樹結(jié)合起來(lái),構(gòu)成多類別的識(shí)別器。這種方法的缺點(diǎn)是如果在某個(gè)節(jié)點(diǎn)上發(fā)生了分類錯(cuò)誤,將會(huì)把錯(cuò)誤延續(xù)下去,該節(jié)點(diǎn)后續(xù)下一級(jí)節(jié)點(diǎn)上的分類就失去了意義。weston雖然提出了用一個(gè)優(yōu)化式解多值分類問(wèn)題,但由于其變量t數(shù)目過(guò)多,所以只能在小型問(wèn)題的求解中使用。
SVM是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識(shí)別方法,是一個(gè)二分類算法,它可以在N維空間找到一個(gè)(N-1)維的超平面,這個(gè)超平面可以將這些點(diǎn)分為兩類。也就是說(shuō),平面內(nèi)如果存在線性可分的兩類點(diǎn),SVM可以找到一條最優(yōu)的直線將這些點(diǎn)分開(kāi)。它在解決小樣本、非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì),并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中。SVM應(yīng)用范圍很廣,已經(jīng)在許多領(lǐng)域,如生物信息學(xué),文本和手寫識(shí)別等中都取得了成功的應(yīng)用。目前主要應(yīng)用于模式識(shí)別領(lǐng)域。
結(jié)語(yǔ):
在機(jī)器學(xué)習(xí)中,支持向量機(jī)(SVM)是與相關(guān)的學(xué)習(xí)算法有關(guān)的監(jiān)督學(xué)習(xí)模型,可以分析數(shù)據(jù),識(shí)別模式,用于分類和回歸分析。在解決小樣本、非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì),并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中。已經(jīng)在許多領(lǐng)域,比如生物信息學(xué),文本和手寫識(shí)別等中都取得了成功的應(yīng)用。目前主要應(yīng)用于模式識(shí)別領(lǐng)域。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
8月5日立即報(bào)名>> 【在線會(huì)議】CAE優(yōu)化設(shè)計(jì):醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺(jué)語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 張勇等人退出阿里合伙人
- 10 AI視頻,攪動(dòng)1.5萬(wàn)億市場(chǎng)