清華新聞網(wǎng)6月9日電 數(shù)據(jù)集和模型是深度學(xué)習(xí)領(lǐng)域的兩大核心要素，是其所有者的重要知識(shí)財(cái)產(chǎn)，具有重要的商業(yè)價(jià)值。高質(zhì)量的公開(kāi)數(shù)據(jù)集（例如開(kāi)源數(shù)據(jù)集或正在售賣(mài)的商業(yè)數(shù)據(jù)集）是深度學(xué)習(xí)繁榮的一個(gè)重要因素。然而，由于這些數(shù)據(jù)集的公開(kāi)特性，惡意用戶(hù)很有可能在未經(jīng)授權(quán)的情況下用其訓(xùn)練第三方商用模型，進(jìn)而破壞數(shù)據(jù)集所有者的版權(quán)，給數(shù)據(jù)集的所有者造成巨大損失。此外，由于公開(kāi)數(shù)據(jù)集的特性，現(xiàn)有的經(jīng)典數(shù)據(jù)保護(hù)方法，例如加密、圖像水印、差分隱私等，均不能直接用于保護(hù)公開(kāi)數(shù)據(jù)集的版權(quán)。加密會(huì)破壞這些數(shù)據(jù)集的可用性，惡意用戶(hù)只會(huì)發(fā)布其模型而不會(huì)發(fā)布其訓(xùn)練細(xì)節(jié)，因此防御者無(wú)法根據(jù)圖像水印判斷是否存在侵權(quán)行為，差分隱私需要操縱模型的訓(xùn)練流程。
近日，清華大學(xué)深圳國(guó)際研究生院江勇教授、夏樹(shù)濤教授團(tuán)隊(duì)在深度學(xué)習(xí)的版權(quán)保護(hù)領(lǐng)域取得新進(jìn)展。研究團(tuán)隊(duì)首次定義并研究了公開(kāi)數(shù)據(jù)集的版權(quán)保護(hù)問(wèn)題。他們把這個(gè)問(wèn)題定義成了一個(gè)所有權(quán)認(rèn)證：給定可疑第三方模型的API，如何僅通過(guò)模型預(yù)測(cè)結(jié)果的信息判斷其是否曾在被保護(hù)數(shù)據(jù)集上訓(xùn)練過(guò)。因?yàn)楣粽卟⒉粫?huì)公開(kāi)模型的訓(xùn)練細(xì)節(jié)，防御者僅能通過(guò)數(shù)據(jù)集水印的方式實(shí)現(xiàn)數(shù)據(jù)集的所有權(quán)認(rèn)證。一個(gè)有效的數(shù)據(jù)集水印需要滿(mǎn)足三大要素：功能性（不影響數(shù)據(jù)集的正常功能）、特異性（使任意在該數(shù)據(jù)集上訓(xùn)練的模型有特殊的預(yù)測(cè)行為）、隱蔽性（水印難以被察覺(jué)）。研究團(tuán)隊(duì)發(fā)現(xiàn)，現(xiàn)有的僅投毒式后門(mén)攻擊（poison-only backdoor attacks）很好地滿(mǎn)足了上述所有要求，因此可以被用于數(shù)據(jù)集水印和設(shè)計(jì)對(duì)應(yīng)的所有權(quán)認(rèn)證。研究團(tuán)隊(duì)分別討論了在能獲取預(yù)測(cè)概率向量和只能獲得預(yù)測(cè)類(lèi)別的兩個(gè)經(jīng)典黑盒設(shè)定下的所有權(quán)認(rèn)證方法（如圖1所示）及其理論基礎(chǔ)。
圖1.所提數(shù)據(jù)集所有權(quán)認(rèn)證方法的流程示意圖
在另一項(xiàng)研究中，研究團(tuán)隊(duì)首次提出并討論了數(shù)據(jù)集所有權(quán)認(rèn)證任務(wù)的無(wú)害化要求。他們重新審視了基于后門(mén)攻擊的數(shù)據(jù)集所有權(quán)認(rèn)證。他們認(rèn)為，上述方法引入了新的安全威脅：攻擊者可以通過(guò)模型中后門(mén)確定性地惡意操縱模型的輸出（如圖2所示）。這種引入的新安全威脅會(huì)造成數(shù)據(jù)集使用者對(duì)提供者的不信任和潛在的安全風(fēng)險(xiǎn)，進(jìn)而阻礙該方法的實(shí)際使用。他們認(rèn)為，現(xiàn)有后門(mén)攻擊的威脅主要來(lái)源于其有目標(biāo)特性，即攻擊者可以確定性地操作被攻擊模型的輸出?；谏鲜隼斫夂蛦l(fā)，研究團(tuán)隊(duì)探索如何設(shè)計(jì)無(wú)目標(biāo)后門(mén)水印（Untargeted Backdoor Watermark），以及如何使用它進(jìn)行無(wú)害和隱蔽的數(shù)據(jù)集所有權(quán)認(rèn)證。
圖2.現(xiàn)有基于后門(mén)攻擊的數(shù)據(jù)集所有權(quán)認(rèn)證過(guò)程和其有害性示意圖
研究人員設(shè)計(jì)了兩種無(wú)目標(biāo)后門(mén)水印：標(biāo)簽不一致的無(wú)目標(biāo)后門(mén)水印和標(biāo)簽一致的無(wú)目標(biāo)后門(mén)水印。前者更加簡(jiǎn)單，而后者更加隱蔽。此外，研究人員也提供了標(biāo)簽一致的無(wú)目標(biāo)后門(mén)水印方法設(shè)計(jì)的理論基礎(chǔ)。
上述關(guān)于首次討論和定義公開(kāi)數(shù)據(jù)集的版權(quán)保護(hù)問(wèn)題工作以“基于后門(mén)水印的黑盒數(shù)據(jù)集所有權(quán)認(rèn)證”（Black-box Dataset Ownership Verification via Backdoor Watermarking）為題，發(fā)表于計(jì)算機(jī)安全領(lǐng)域的國(guó)際學(xué)術(shù)期刊《IEEE信息取證與安全》（IEEE Transactions on Information Forensics and Security）。該論文刊出后不久受到了《IEEE綜覽》（IEEE Spectrum）的專(zhuān)題新聞報(bào)道。清華大學(xué)深圳國(guó)際研究生院2020級(jí)計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)博士生李一鳴為該論文的第一作者，西南交通大學(xué)副研究員楊雪和夏樹(shù)濤為該論文的共同通訊作者。
上述關(guān)于首次討論和提出數(shù)據(jù)集版權(quán)保護(hù)的無(wú)害化要求及其方法的工作以“無(wú)目標(biāo)后門(mén)水?。和ㄍ鶡o(wú)害和隱蔽的數(shù)據(jù)集版權(quán)保護(hù)”（Untargeted Backdoor Watermark: Towards Harmless and Stealthy Dataset Copyright Protection）為題，入選人工智能領(lǐng)域的國(guó)際學(xué)術(shù)會(huì)議神經(jīng)信息處理系統(tǒng)大會(huì)（Annual Conference on Neural Information Processing Systems）。該論文也入選為前2%的口頭報(bào)告（Oral Paper）。李一鳴和清華大學(xué)深圳國(guó)際研究生院2022級(jí)博士畢業(yè)生白楊為該論文的共同第一作者，白楊和夏樹(shù)濤為該論文的共同通訊作者。
論文鏈接:
https://ieeexplore.ieee.org/document/10097580
供稿：深圳國(guó)際研究生院
題圖設(shè)計(jì)：李娜
編輯：李華山
審核：郭玲
