CCF最新分享:數(shù)據(jù)隱私保護(hù)下,AI大數(shù)據(jù)應(yīng)如何發(fā)展?
多方如何實(shí)現(xiàn)“共同富!保(lián)邦學(xué)習(xí)的收益分配
聯(lián)邦學(xué)習(xí)助力物聯(lián)網(wǎng)發(fā)展,那么,多個(gè)數(shù)據(jù)方是如何打破“數(shù)據(jù)孤島”,實(shí)現(xiàn) “共同富裕呢?聯(lián)邦學(xué)習(xí)的收益分配是怎樣的呢?
于涵教授表示!霸诼(lián)邦學(xué)習(xí)機(jī)制下,參與各方的身份和地位相同,各參與方把加密后的數(shù)據(jù)貢獻(xiàn)給聯(lián)邦,然后數(shù)據(jù)聯(lián)盟訓(xùn)練一個(gè)聯(lián)邦模型,這個(gè)模型再開放給各數(shù)據(jù)使用方,達(dá)到數(shù)據(jù)的有效整合及使用,能夠?qū)崿F(xiàn)打通“數(shù)據(jù)孤島!
然而,在帶來(lái)效益的同時(shí),聯(lián)邦學(xué)習(xí)也可能給企業(yè)帶來(lái)額外成本。具體來(lái)說(shuō),參與者加入聯(lián)邦需要對(duì)聯(lián)邦做出貢獻(xiàn),把加密后的數(shù)據(jù)貢獻(xiàn)給聯(lián)邦,會(huì)產(chǎn)生數(shù)據(jù)成本和資金成本,且不同質(zhì)量的數(shù)據(jù)方加入聯(lián)邦、不同給時(shí)間節(jié)點(diǎn)加入聯(lián)盟的成本和效益可能不完全相同。
“一個(gè)數(shù)據(jù)聯(lián)盟的可持續(xù)發(fā)展取決于其能否持續(xù)吸引高質(zhì)量的個(gè)人機(jī)構(gòu)數(shù)據(jù)持有人的參與”于涵教授強(qiáng)調(diào)。
如何吸引高質(zhì)量的個(gè)人機(jī)構(gòu)數(shù)據(jù)參與進(jìn)來(lái)?在解答這個(gè)問(wèn)題之前,了解收益分配博弈是很有必要的。三類利潤(rùn)分配博弈中的分配方案包括平均主義、邊際收益和邊際損失。假設(shè)按照平均主義,數(shù)據(jù)聯(lián)盟產(chǎn)生的收益在參與者中平均分配,邊際收益則按照某個(gè)參與者加入聯(lián)盟時(shí)帶來(lái)的邊際收益確定他所應(yīng)得的收益,邊際損失則按照某個(gè)參與者退出聯(lián)盟帶來(lái)的邊際損失確定他所應(yīng)得的收益;從系統(tǒng)角度考慮,總體目標(biāo)是最大化集體效用。
這些分配方案都有各自的優(yōu)劣,如何尋找一種適合聯(lián)邦學(xué)習(xí)的分配方案?答案是聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制。數(shù)據(jù)聯(lián)盟參與者模型中核心問(wèn)題是如何公平地對(duì)待參與者,通過(guò)綜合考量數(shù)據(jù)方對(duì)聯(lián)盟的貢獻(xiàn)以及參與聯(lián)盟的代價(jià),評(píng)估收益分配能否補(bǔ)齊成本,即評(píng)估公平度目標(biāo)。
因此,聯(lián)邦學(xué)習(xí)的解決方案是基于排隊(duì)系統(tǒng)為公平度目標(biāo)建模,通過(guò)保證排隊(duì)系統(tǒng)穩(wěn)定,保證參與者等候全額補(bǔ)償?shù)臅r(shí)間有限。另外,模型的公平性維度有三個(gè),一是一個(gè)參與者所貢獻(xiàn)的數(shù)據(jù)為聯(lián)邦模型帶來(lái)的邊際效益越高,他所應(yīng)得得補(bǔ)償也越高;二是“遺憾”度及等待時(shí)長(zhǎng)應(yīng)在所有參與者間盡量均勻分布;公平性緯度三即在不同時(shí)間點(diǎn)之間,“遺憾”度及等待時(shí)長(zhǎng)的變化盡量不要太劇烈最后在優(yōu)化目標(biāo)函數(shù)。通過(guò)優(yōu)化目標(biāo)函數(shù),實(shí)現(xiàn)最大化公平度。
基于此,聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制的利益分配方案是最大化數(shù)據(jù)聯(lián)盟的整體效用,同時(shí)最小化參與者之間在“遺憾”和等待時(shí)長(zhǎng)兩個(gè)維度的不均衡。
聯(lián)邦學(xué)習(xí),機(jī)遇與挑戰(zhàn)并存
聯(lián)邦學(xué)習(xí)解決了在保證數(shù)據(jù)安全的前提下解決了“數(shù)據(jù)孤島”問(wèn)題,同時(shí)聯(lián)邦學(xué)習(xí)通過(guò)聯(lián)邦激勵(lì)機(jī)制實(shí)現(xiàn)參與方的收益分配盡可能公平。在未來(lái),聯(lián)邦學(xué)習(xí)還將帶給我們更多驚喜,尤其在生態(tài)建設(shè)方面,主要包括開源、技術(shù)標(biāo)準(zhǔn)和商業(yè)賦能等領(lǐng)域。
在開源方面,微眾銀行基于“聯(lián)邦學(xué)習(xí)”開發(fā)了聯(lián)盟AI系統(tǒng)并開源聯(lián)盟AI解決方案FATE(Federated AI Technology Enabler)。作為聯(lián)邦學(xué)習(xí)領(lǐng)域第一個(gè)商用級(jí)開源項(xiàng)目,F(xiàn)ATE為開發(fā)者提供所必須的多方協(xié)同建模工作流管理、加密機(jī)器學(xué)習(xí)工具庫(kù)和并行計(jì)算基礎(chǔ)設(shè)施抽象三層能力,同時(shí)提供了很多開箱即用的聯(lián)邦學(xué)習(xí)算法和聯(lián)邦遷移學(xué)習(xí)算法供開發(fā)者參考,極大簡(jiǎn)化了聯(lián)盟AI開發(fā)的流程并降低了部署難度。這項(xiàng)開源技術(shù)的產(chǎn)生極大降低了企業(yè)加入聯(lián)盟AI生態(tài),拓展合作協(xié)同式AI技術(shù)的門檻,為企業(yè)技術(shù)合作,協(xié)同建模,共建生態(tài)奠定了技術(shù)基礎(chǔ)。
在技術(shù)標(biāo)準(zhǔn)方面,2018年12月4日,電氣和電子工程師協(xié)會(huì)標(biāo)準(zhǔn)委員會(huì)(IEEE Standard Association)批準(zhǔn)由微眾銀行發(fā)起的關(guān)于聯(lián)邦學(xué)習(xí)架構(gòu)和應(yīng)用規(guī)范的標(biāo)準(zhǔn)P3652.1(Guide for Architectural Framework and Application of Federated Machine Learning)立項(xiàng)。此次會(huì)議上,微眾銀行宣布面向社會(huì)征稿,接收的優(yōu)秀論文將受邀在IEEE Intelligent System 特刊發(fā)表。
除源、技術(shù)標(biāo)準(zhǔn)外,商業(yè)賦能更是另一重要方面,尤其是智慧城市。城市計(jì)算事業(yè)部AI平臺(tái)部負(fù)責(zé)人張鈞波向大家介紹了城市計(jì)算與跨越學(xué)習(xí)聯(lián)合建模,城市計(jì)算(Urban Computing)通過(guò)城市數(shù)據(jù)的采集、管理、分析挖掘和服務(wù)提供,解決交通、規(guī)劃、環(huán)境等問(wèn)題。但由于數(shù)據(jù)異構(gòu)、多源性及時(shí)空動(dòng)態(tài)分布,城市計(jì)算面臨一個(gè)重大挑戰(zhàn)即城市感知的數(shù)據(jù)缺失,京東通過(guò)跨域?qū)W習(xí)聯(lián)合建模,建立聯(lián)邦學(xué)習(xí)+隨機(jī)森林的聯(lián)邦隨機(jī)森林,打通數(shù)據(jù)壁壘,解決數(shù)據(jù)孤島問(wèn)題。
聯(lián)邦學(xué)習(xí)帶給我們更多驚喜的同時(shí),也面臨諸多挑戰(zhàn),如何避免模型攻擊和數(shù)據(jù)攻擊,如何讓聯(lián)邦學(xué)習(xí)在安全合規(guī)前提下提高算法效率,這需要學(xué)界與業(yè)界更多參與者共同探索!

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
8月5日立即報(bào)名>> 【在線會(huì)議】CAE優(yōu)化設(shè)計(jì):醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 AI視頻,攪動(dòng)1.5萬(wàn)億市場(chǎng)
- 10 張勇等人退出阿里合伙人