數(shù)據(jù)安全、隱私保護(hù)、數(shù)據(jù)孤島是AI時(shí)代遇到的普遍難題。

在人工智能的發(fā)展道路上，除了算法、算力的要求，“喂養(yǎng)”人工智能模型需要海量、多維數(shù)據(jù)進(jìn)行模型訓(xùn)練。在此過(guò)程中，數(shù)據(jù)安全、個(gè)人數(shù)據(jù)隱私等風(fēng)險(xiǎn)事件頻發(fā)，數(shù)據(jù)孤島現(xiàn)象頻現(xiàn)。隱私與數(shù)據(jù)保護(hù)越發(fā)得到重視，相關(guān)的法律法規(guī)日漸嚴(yán)格和完善。

在此背景下，“聯(lián)邦學(xué)習(xí)”為以上問(wèn)題的解決提供了一個(gè)可行方案。

【資料圖】

所謂“聯(lián)邦學(xué)習(xí)”，其基本思想是建立一個(gè)共有模型，各個(gè)參與者的身份和地位相同，通過(guò)加密機(jī)制下的參數(shù)交換方式，實(shí)現(xiàn)不同企業(yè)、不同部門(mén)所擁有的數(shù)據(jù)不交換、不移動(dòng)。在不違反數(shù)據(jù)隱私保護(hù)法律法規(guī)的前提下，模型利用全量數(shù)據(jù)進(jìn)行訓(xùn)練和模型優(yōu)化，從而得到最優(yōu)模型結(jié)果。

香港科技大學(xué)計(jì)算機(jī)與工程系講座教授和前系主任、中國(guó)人工智能學(xué)會(huì)（CAAI）榮譽(yù)副理事長(zhǎng)、微眾銀行首席人工智能官楊強(qiáng)教授曾以羊與草為喻，形容聯(lián)邦學(xué)習(xí)的思路所在。

假設(shè)用一只羊來(lái)類比機(jī)器學(xué)習(xí)模型，我們希望羊吃了草以后能夠長(zhǎng)大。過(guò)去的做法是，把草買(mǎi)到一起來(lái)建立模型。羊不動(dòng)，但是草被購(gòu)買(mǎi)到中心。相當(dāng)于用簡(jiǎn)單粗暴的辦法來(lái)獲取數(shù)據(jù)，形成大數(shù)據(jù)，來(lái)建立模型。

但我們希望能夠保護(hù)各自的隱私，所以讓草不動(dòng)，讓羊動(dòng)。也就是說(shuō)，我們帶著模型到不同的草場(chǎng)去訪問(wèn)，那么久而久之羊就長(zhǎng)大了——這個(gè)就是聯(lián)邦學(xué)習(xí)的新思路，就是讓草不出草場(chǎng)，本地主人無(wú)法知道羊吃了哪些草，但是羊還是長(zhǎng)大了。

“聯(lián)邦學(xué)習(xí)”在解決數(shù)據(jù)共享和數(shù)據(jù)隱私保護(hù)領(lǐng)域展現(xiàn)出強(qiáng)大的吸引力。到目前為止，聯(lián)邦學(xué)習(xí)已在金融、廣告營(yíng)銷等方面獲得落地。

比如，互聯(lián)網(wǎng)平臺(tái)推送“千人千面”式的營(yíng)銷信息時(shí)，其背后的推薦模型就需要大量用到用戶的特征數(shù)據(jù)。但單一企業(yè)只擁有用戶的一部分特征數(shù)據(jù)，如果可以接入更多其他互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)或者是投放廣告主關(guān)于用戶的數(shù)據(jù)，那么將大幅提升廣告推薦的效果，既能提升點(diǎn)擊率也可以提升廣告主的ROI，聯(lián)邦學(xué)習(xí)的出現(xiàn)就很好的解決了這個(gè)問(wèn)題。

金融領(lǐng)域同樣如此，單個(gè)金融機(jī)構(gòu)掌握的用戶信息較少，除了個(gè)人征信系統(tǒng)之外，各平臺(tái)數(shù)據(jù)之間彼此是不互通的。聯(lián)邦學(xué)習(xí)的出現(xiàn)同樣讓各大金融機(jī)構(gòu)之間可以聯(lián)合建模，對(duì)于用戶的資質(zhì)進(jìn)行全面客觀的評(píng)價(jià)，降低貸款的違約率和資產(chǎn)的不良率。

不過(guò)在現(xiàn)實(shí)中，“聯(lián)邦學(xué)習(xí)”商業(yè)應(yīng)用仍然面臨一些問(wèn)題，且其在技術(shù)研究中也仍然存在一些難點(diǎn)有待突破。

比如，如何在效率、性能與安全性之間取得平衡是一個(gè)難題。目前“聯(lián)邦學(xué)習(xí)”系統(tǒng)嚴(yán)格保護(hù)用戶本地?cái)?shù)據(jù)不外泄，只傳輸模型更新，而且即使是模型更新，也會(huì)對(duì)模型進(jìn)行加密后再傳輸。對(duì)于更復(fù)雜的加密系統(tǒng)，就意味著回傳也需要更多的資源和實(shí)踐去解密。效率、性能與安全性之間有此存在沖突。

再如，“聯(lián)邦學(xué)習(xí)”面臨著的“數(shù)據(jù)下毒”的威脅。聯(lián)邦學(xué)習(xí)的分布式特點(diǎn)以及安全聚合機(jī)制往往讓數(shù)據(jù)造假變得更容易，更難被發(fā)現(xiàn)和舉證。每一方都有可能通過(guò)構(gòu)造“數(shù)據(jù)下毒”來(lái)控制整個(gè)模型的訓(xùn)練結(jié)果。

經(jīng)過(guò)數(shù)年發(fā)展，“聯(lián)邦學(xué)習(xí)”究竟在技術(shù)和商業(yè)應(yīng)用層面有何發(fā)展？

對(duì)此，鈦媒體App近日專訪了楊強(qiáng)教授，楊強(qiáng)是國(guó)內(nèi)聯(lián)邦學(xué)習(xí)領(lǐng)域的知名學(xué)者。2018年，楊強(qiáng)帶領(lǐng)的微眾銀行AI團(tuán)隊(duì)在國(guó)內(nèi)國(guó)內(nèi)引進(jìn)了并延展了聯(lián)邦學(xué)習(xí)（Federated Learning）概念，在國(guó)際首次系統(tǒng)性提出聯(lián)邦學(xué)習(xí)理論。2019年，微眾銀行AI團(tuán)隊(duì)開(kāi)源了首個(gè)工業(yè)級(jí)聯(lián)邦學(xué)習(xí)技術(shù)框架FATE，同年6月捐獻(xiàn)給Linux基金會(huì)。

不久前，楊強(qiáng)教授的團(tuán)隊(duì)與上海交通大學(xué)、中山大學(xué)等機(jī)構(gòu)聯(lián)合撰寫(xiě)的三篇論文被IJCAI 2022、TPAMI 2022、ACM TIST等國(guó)際人工智能頂級(jí)學(xué)術(shù)期刊和頂級(jí)學(xué)術(shù)會(huì)議收錄發(fā)表。三篇論文分別為：《聯(lián)邦學(xué)習(xí)中隱私與模型性能沒(méi)有免費(fèi)午餐定理》、《FedCG: 聯(lián)邦生成對(duì)抗網(wǎng)絡(luò)保護(hù)隱私保障性能》、《FedIPR：聯(lián)邦學(xué)習(xí)模型所屬權(quán)驗(yàn)證》。

在楊強(qiáng)教授的回答中，有三點(diǎn)觀點(diǎn)值得關(guān)注。首先，在聯(lián)邦學(xué)習(xí)的隱私保護(hù)、模型性能、算法效率三者需要平衡，且可以平衡，目前楊強(qiáng)教授的團(tuán)隊(duì)已經(jīng)找到了一條在更好的隱私保護(hù)能力的同時(shí)，讓模型性能上也具有競(jìng)爭(zhēng)力的一條道路。

其次，長(zhǎng)遠(yuǎn)來(lái)看，隨著社會(huì)數(shù)智化的發(fā)展、數(shù)據(jù)要素的流通、數(shù)據(jù)交易所的落地，數(shù)據(jù)的定價(jià)、數(shù)據(jù)知識(shí)產(chǎn)權(quán)的認(rèn)證，數(shù)據(jù)安全隱私的保護(hù)等環(huán)節(jié)都離不開(kāi)聯(lián)邦學(xué)習(xí)，這也是聯(lián)邦學(xué)習(xí)發(fā)展的最大機(jī)遇。

第三，讓技術(shù)和法律法規(guī)結(jié)合起來(lái)是一大挑戰(zhàn)。關(guān)鍵是要讓整個(gè)聯(lián)邦學(xué)習(xí)決策過(guò)程變得可解釋、透明，并且可監(jiān)管、可問(wèn)詢、可追蹤。

以下是鈦媒體App與楊強(qiáng)教授的采訪實(shí)錄，經(jīng)編輯后發(fā)布：

解讀三篇論文：從理論到實(shí)踐，再到規(guī)?；凸こ袒?/strong>

問(wèn)：近期發(fā)表的3篇論文，分別是從信息論、聯(lián)邦學(xué)習(xí)效率提升以及模型版權(quán)驗(yàn)證切入，為什么會(huì)選擇這3個(gè)角度作為研究的切入？背后有怎樣的研究路徑和規(guī)劃？

楊強(qiáng)：計(jì)算機(jī)學(xué)科的發(fā)展往往是先有理論再有實(shí)踐，然后進(jìn)一步發(fā)展理論，我們現(xiàn)在處于第三步，那么這一步的理論要解決的問(wèn)題是什么？

首先，我們要注意聯(lián)合建模的安全性（這個(gè)是大家特別關(guān)心的）和聯(lián)合建模的可用性。如果只是一個(gè)極端安全的模型，沒(méi)有人能用，這東西也沒(méi)用。模型質(zhì)量要好、準(zhǔn)確率高，同時(shí)訓(xùn)練速度要快，要安全，需要這三點(diǎn)的平衡。

基于這三點(diǎn)的平衡，我們就要做下面幾件事，第一件事，是要證明這其中確實(shí)是需要做平衡的。因此，我們發(fā)布的文章《聯(lián)邦學(xué)習(xí)中隱私與模型性能沒(méi)有免費(fèi)午餐定理》闡述，聯(lián)邦學(xué)習(xí)的隱私和模型性能是沒(méi)有免費(fèi)午餐。兩者必須要做出權(quán)衡和取舍。

第二，在聯(lián)邦學(xué)習(xí)的安全和效率之間，有沒(méi)有可能很聰明地發(fā)明一些算法，能夠?qū)崿F(xiàn)安全性和模型的效能，以及準(zhǔn)確率的同時(shí)提升。我們發(fā)表 《FedCG：聯(lián)邦條件對(duì)抗生成網(wǎng)絡(luò)》闡述了，我們可以在每一個(gè)參與方都建立一個(gè)它的鏡像模型，然后讓這些鏡像模型之間互相溝通，這樣就大大的降低了隱私泄露的可能性，同時(shí)我們建模效率和效果都大為提升。

關(guān)于最后一篇文章，聯(lián)邦學(xué)習(xí)不僅僅是一個(gè)訓(xùn)練、一個(gè)模型，而是從數(shù)據(jù)的收集、選擇，模型的訓(xùn)練，到模型的治理，直至模型和別人進(jìn)行交換。在這種情況下，我們就提出了“全生命周期的聯(lián)邦學(xué)習(xí)的模型治理”。

具體來(lái)說(shuō)，模型治理其實(shí)和數(shù)據(jù)治理一樣重要。未來(lái)的世界我們看到是一個(gè)數(shù)字化的世界，而數(shù)字都是以模型的形式出現(xiàn)。但是，每個(gè)模型是誰(shuí)做出來(lái)的，誰(shuí)用過(guò)，誰(shuí)從誰(shuí)那買(mǎi)的，這個(gè)模型有什么危險(xiǎn)性，有什么特別性等等，這些問(wèn)題我們都叫模型的所屬權(quán)驗(yàn)證。而在模型里面加入水印實(shí)現(xiàn)歸屬權(quán)的驗(yàn)證，目前在業(yè)界我們是第一個(gè)做出來(lái)。

我們基于這3個(gè)不同的角度，從理論到實(shí)踐，到規(guī)模化，到工程化生命周期管理，應(yīng)該說(shuō)是一個(gè)全面的概括。這是“可信聯(lián)邦學(xué)習(xí)”的一個(gè)里程碑。

行業(yè)應(yīng)用及商業(yè)前景

問(wèn)：從目前的應(yīng)用，到未來(lái)可以預(yù)見(jiàn)的一些場(chǎng)景，聯(lián)邦學(xué)習(xí)會(huì)產(chǎn)生哪幾方面的影響？在與行業(yè)結(jié)合的過(guò)程中，還有什么問(wèn)題需要注意？

楊強(qiáng)：越來(lái)越多的行業(yè)在提數(shù)字化和智能化，聯(lián)合起來(lái)就是數(shù)智化。數(shù)智化的過(guò)程，離不開(kāi)一個(gè)觀念，就是數(shù)據(jù)要素的流通，數(shù)據(jù)從一個(gè)地方流到另外一個(gè)地方，通過(guò)數(shù)據(jù)交易所進(jìn)行交易。所以需要對(duì)數(shù)據(jù)進(jìn)行定價(jià)，數(shù)據(jù)的知識(shí)產(chǎn)權(quán)要有認(rèn)證，數(shù)據(jù)的安全隱私要有保護(hù)，這些要求是未來(lái)金融的一些重要的特征，而所有這些都離不開(kāi)聯(lián)邦學(xué)習(xí)，聯(lián)邦學(xué)習(xí)實(shí)現(xiàn)這些目標(biāo)的一個(gè)有力工具。

未來(lái)要注意的一個(gè)重要方面，就是如何有機(jī)地讓技術(shù)和法律法規(guī)結(jié)合起來(lái)?，F(xiàn)在有數(shù)據(jù)安全法，還有很多金融行業(yè)的一些規(guī)章制度，其中有一部分是可以用技術(shù)來(lái)實(shí)現(xiàn)的，但是有一部分是需要有法律和監(jiān)管來(lái)實(shí)現(xiàn)的，這兩方面的有機(jī)結(jié)合，我們現(xiàn)在正在嘗試。我們要做到這種無(wú)縫的對(duì)接，能夠既有技術(shù)的保證，又有法律和規(guī)章的保證，同時(shí)又需要讓整個(gè)決策過(guò)程變得可解釋，透明，并且可監(jiān)管、可問(wèn)詢、可追蹤，這些都是我們所面臨的一些挑戰(zhàn)。

問(wèn)：從商業(yè)化的角度來(lái)看，聯(lián)邦學(xué)習(xí)未來(lái)的商業(yè)潛力是怎樣的？

楊強(qiáng)：其實(shí)他們就像任何技術(shù)一樣，是需要滿足自然的發(fā)展規(guī)律的，比方說(shuō)一個(gè)技術(shù)的出現(xiàn)，先適用在一些案例上，取得了成功，于是各方都想積極地參與試用，會(huì)發(fā)現(xiàn)一些挑戰(zhàn)，會(huì)有一些新的解決方案，讓這些技術(shù)進(jìn)行升級(jí)，這樣最后能夠成熟到大家都普遍使用，所以聯(lián)邦學(xué)習(xí)和剛才所說(shuō)的這些技術(shù)，也是一樣的，要滿足這樣的規(guī)律的。

這其中的市場(chǎng)空間應(yīng)該是很廣泛的，在我個(gè)人看來(lái)，未來(lái)的計(jì)算，一定是數(shù)據(jù)和模型的計(jì)算。為了保護(hù)數(shù)據(jù)安全和用戶隱私，在我們管道里跑的不應(yīng)該是原始數(shù)據(jù)，應(yīng)該是由數(shù)據(jù)產(chǎn)生的模型，而模型的交流組合、更新迭代，認(rèn)證審計(jì)，這些都需要我們整個(gè)人工智能行業(yè)和大數(shù)據(jù)行業(yè)的升級(jí)迭代，都離不開(kāi)聯(lián)邦學(xué)習(xí)。（作者｜蔡鵬程）