一文了解如何揪出并預(yù)防AI偏誤
任何AI應(yīng)用的成功都與訓(xùn)練數(shù)據(jù)密切相關(guān)。您不僅需要合適的數(shù)據(jù)質(zhì)量和合適的數(shù)據(jù)量,還要主動(dòng)確保您的AI工程師沒(méi)有將自己的潛在偏誤傳遞到開(kāi)發(fā)的產(chǎn)品上。如果工程師任由自己的世界觀和成見(jiàn)影響數(shù)據(jù)集——也許提供僅限于某個(gè)統(tǒng)計(jì)人群或焦點(diǎn)的數(shù)據(jù),依賴(lài)AI解決問(wèn)題的應(yīng)用系統(tǒng)將同樣有偏誤、不準(zhǔn)確、用處不大。
簡(jiǎn)而言之,我們必須不斷檢測(cè)并消除AI應(yīng)用系統(tǒng)中的人為偏誤,才能讓這項(xiàng)技術(shù)發(fā)揮潛力。我預(yù)計(jì),隨著AI繼續(xù)從一種比較新的技術(shù)迅速變成一種完全無(wú)處不在的技術(shù),偏誤審查力度只會(huì)有增無(wú)減。但必須克服人為偏誤才能真正實(shí)現(xiàn)這一幕。Gartner在2018年的一份報(bào)告預(yù)測(cè),到2030年,85%的AI項(xiàng)目將提供數(shù)據(jù)或算法中內(nèi)置的偏誤或管理那些部署的團(tuán)隊(duì)中存在的偏誤所導(dǎo)致的錯(cuò)誤結(jié)果。事關(guān)重大;錯(cuò)誤的AI會(huì)導(dǎo)致聲譽(yù)嚴(yán)重受損,并給基于AI提供的錯(cuò)誤結(jié)論做出決策的企業(yè)帶來(lái)慘重的失敗后果。
AI偏誤有多種形式。源自開(kāi)發(fā)人員的認(rèn)知偏誤會(huì)影響機(jī)器學(xué)習(xí)模型和訓(xùn)練數(shù)據(jù)集。實(shí)際上,偏誤固化到算法中。不完整的數(shù)據(jù)本身也會(huì)產(chǎn)生偏誤——如果信息因認(rèn)知偏誤而被忽略,尤其如此。一個(gè)在沒(méi)有偏誤的情況下訓(xùn)練和開(kāi)發(fā)的AI投入使用時(shí),其結(jié)果仍有可能受到部署偏誤的影響。匯總偏誤是另一種風(fēng)險(xiǎn),當(dāng)針對(duì)AI項(xiàng)目做出的小選擇對(duì)結(jié)果的完整性產(chǎn)生巨大的集體影響時(shí),就會(huì)出現(xiàn)這種情況。簡(jiǎn)而言之,任何AI環(huán)節(jié)都有許多固有的步驟會(huì)被引入偏誤。
為了實(shí)現(xiàn)可信賴(lài)的依賴(lài)AI的應(yīng)用系統(tǒng),可以面對(duì)無(wú)數(shù)用例(和用戶(hù))始終如一地獲得準(zhǔn)確的輸出,組織就需要有效的框架、工具包、流程和政策來(lái)識(shí)別和積極減少AI偏誤?捎玫拈_(kāi)源工具有助于測(cè)試AI應(yīng)用,看看數(shù)據(jù)中是否存在特定的偏誤、問(wèn)題和盲點(diǎn)。
AI框架。旨在保護(hù)組織免受AI偏誤風(fēng)險(xiǎn)的框架可以引入制衡機(jī)制,最大限度地減少整個(gè)應(yīng)用開(kāi)發(fā)和部署過(guò)程中的不當(dāng)影響?梢允褂眠@些框架,將可信無(wú)偏誤實(shí)踐的衡量基準(zhǔn)實(shí)現(xiàn)自動(dòng)化,并植入到產(chǎn)品中。
這里有幾個(gè)例子:
工具包。組織還應(yīng)該利用可用的工具包來(lái)識(shí)別和消除機(jī)器學(xué)習(xí)模型中存在的偏誤,并識(shí)別機(jī)器學(xué)習(xí)管道中的偏誤模式。以下是一些特別有用的工具包:
流程和政策。組織可能需要引入專(zhuān)門(mén)設(shè)計(jì)的新流程,以消除AI的偏誤并加大對(duì)AI系統(tǒng)的信任。這些流程定義了偏誤度量指標(biāo),并根據(jù)那些標(biāo)準(zhǔn)定期徹底地核查數(shù)據(jù)。政策應(yīng)該發(fā)揮一種類(lèi)似的作用,建立治理機(jī)制,要求嚴(yán)謹(jǐn)?shù)膶?shí)踐和謹(jǐn)慎的行動(dòng),以最大限度地減少偏誤和解決盲點(diǎn)。
那些采取措施以減少AI系統(tǒng)中偏誤的組織可以將這種潛在的危機(jī)轉(zhuǎn)化為獲取競(jìng)爭(zhēng)差異化優(yōu)勢(shì)的機(jī)會(huì)。倡導(dǎo)反偏誤措施可以使客戶(hù)對(duì)AI應(yīng)用系統(tǒng)抱有更大的信心和信任,從而使組織與眾不同。今天尤其如此,而隨著AI遍地開(kāi)花,將更是如此。在追求無(wú)偏誤的AI方面確保透明度有利于企業(yè)發(fā)展。
先進(jìn)的新AI算法正將AI帶入新領(lǐng)域——從合成數(shù)據(jù)生成到遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、生成式網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò),不一而足。這每一個(gè)令人興奮的新應(yīng)用對(duì)偏誤影響都會(huì)有各自的敏感性,必須先解決這些問(wèn)題,這些技術(shù)才會(huì)蓬勃發(fā)展。
就AI偏誤而言,錯(cuò)不在AI而在我們自己。應(yīng)采取所有可用的措施以消除AI中的人為偏誤,使組織能夠開(kāi)發(fā)出更準(zhǔn)確、更有效、對(duì)客戶(hù)更有吸引力的應(yīng)用系統(tǒng)。
原文標(biāo)題:AI bias is prevalent but preventable — here’s how to root it out,作者:Shomron Jacob, Iterate.a(chǎn)i
【51CTO譯稿,合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處】
來(lái)源:51CTO布加迪

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
最新活動(dòng)更多
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車(chē)生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
-
8月5日立即報(bào)名>> 【在線會(huì)議】CAE優(yōu)化設(shè)計(jì):醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專(zhuān)題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺(jué)語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣(mài)機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫(huà)了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 張勇等人退出阿里合伙人
- 10 AI視頻,攪動(dòng)1.5萬(wàn)億市場(chǎng)