清華新聞網(wǎng)5月31日電 近日，根據(jù)國(guó)際機(jī)器學(xué)習(xí)大會(huì)（International Conference on Machine Learning，簡(jiǎn)稱(chēng)ICML）官網(wǎng)消息，清華大學(xué)交叉信息研究院多個(gè)課題組及本科生共有23篇文章被接收，在本次會(huì)議獲得豐碩成果。
國(guó)際機(jī)器學(xué)習(xí)大會(huì)是由國(guó)際機(jī)器學(xué)習(xí)學(xué)會(huì)（IMLS）主辦的機(jī)器學(xué)習(xí)國(guó)際頂級(jí)會(huì)議。今年舉辦的第39屆ICML2022共收到有效投稿論文5630篇，共計(jì)1235篇被錄用，錄用率為21.9%。以下為交叉信息研究院部分入選成果展示（排序不分先后）。
模態(tài)競(jìng)爭(zhēng)：是什么讓多模態(tài)聯(lián)合訓(xùn)練在深度學(xué)習(xí)中失敗了？
盡管深度多模態(tài)學(xué)習(xí)在實(shí)踐中取得了顯著成功，但在理論上并沒(méi)有得到很好的解釋。近來(lái)人們?cè)诙嗄B(tài)訓(xùn)練中觀(guān)察到: 表現(xiàn)最好的單模態(tài)網(wǎng)絡(luò)優(yōu)于聯(lián)合訓(xùn)練的多模態(tài)網(wǎng)絡(luò)。這一現(xiàn)象是違反直覺(jué)的, 因?yàn)槎鄠€(gè)信號(hào)輸入通常會(huì)帶來(lái)更多的信息。該研究旨在為流行的多模態(tài)聯(lián)合訓(xùn)練框架在神經(jīng)網(wǎng)絡(luò)中出現(xiàn)這種性能差距提供理論解釋。
在商品分類(lèi)(包含圖像和文本)任務(wù)上驗(yàn)證模態(tài)競(jìng)爭(zhēng)現(xiàn)象的存在
基于能體現(xiàn)多模態(tài)數(shù)據(jù)真實(shí)屬性的簡(jiǎn)化數(shù)據(jù)分布，該研究證明對(duì)于通過(guò)梯度下降聯(lián)合訓(xùn)練并由ReLU函數(shù)激活的多模態(tài)后期融合網(wǎng)絡(luò), 不同的模態(tài)在訓(xùn)練過(guò)程中將相互競(jìng)爭(zhēng), 導(dǎo)致編碼網(wǎng)絡(luò)講只能學(xué)習(xí)到多模態(tài)的一個(gè)模態(tài)子集，該研究將這一現(xiàn)象刻畫(huà)為模態(tài)競(jìng)爭(zhēng)。而在競(jìng)爭(zhēng)中失敗的模態(tài)，將不會(huì)被編碼網(wǎng)絡(luò)發(fā)掘，這正是聯(lián)合訓(xùn)練次優(yōu)性的根源。通過(guò)實(shí)驗(yàn)，該研究說(shuō)明模態(tài)競(jìng)爭(zhēng)與多模態(tài)訓(xùn)練的本質(zhì)行為相匹配。
論文作者：交叉信息院2020級(jí)碩士生黃鈺、交叉信息院副教授黃隆波。
論文鏈接：https://arxiv.org/pdf/2111.11188.pdf
分析與緩解自動(dòng)架構(gòu)搜索中的干擾問(wèn)題
權(quán)重共享，通過(guò)重復(fù)利用之前訓(xùn)練過(guò)的子模型的權(quán)重以減少神經(jīng)結(jié)構(gòu)搜索的訓(xùn)練成本，是一種在自動(dòng)架構(gòu)搜索中廣泛應(yīng)用的方法。然而，在實(shí)際應(yīng)用中大家發(fā)現(xiàn)，這些子模型的估計(jì)準(zhǔn)確率和真實(shí)準(zhǔn)確率之間的排序相關(guān)性較低。本質(zhì)上，這是由于不同子模型之間的干擾造成的。該研究通過(guò)抽取不同的子模型計(jì)算共享算子上的梯度相似度來(lái)定量的研究干擾問(wèn)題。
不同策略下的梯度的余弦相似度的比較
通過(guò)BERT搜索空間上的實(shí)驗(yàn)驗(yàn)證，該研究提出的兩種方法都能減輕干擾并提高排序的準(zhǔn)確率，并且兩者結(jié)合可以達(dá)到更好的效果。在GLUE任務(wù)上，該研究自動(dòng)搜索出來(lái)的架構(gòu)顯著超過(guò)了RoberTa和ELECTRA的Base模型。在BERT壓縮任務(wù)，閱讀理解SQuAD任務(wù)和大規(guī)模圖像分類(lèi)任務(wù)ImageNet上的進(jìn)一步實(shí)驗(yàn)也證明了該研究所提出的方法的有效性和通用性。
論文作者：交叉信息院2018級(jí)博士生徐進(jìn)、交叉信息院副教授李建。
論文鏈接：https://arxiv.org/abs/2203.12221
自組織的多項(xiàng)式時(shí)間協(xié)作圖
協(xié)作圖算法是多智能體強(qiáng)化學(xué)習(xí)中的一類(lèi)經(jīng)典方法，其通過(guò)將多智能體的聯(lián)合值函數(shù)分解為一系列局部值函數(shù)的加和，顯示地表達(dá)了智能體間的交互關(guān)系。在此前算法使用的協(xié)作圖上，求解智能體的聯(lián)合動(dòng)作決策及其近似解均為NP-hard問(wèn)題，這限制了已有協(xié)作圖算法的性能。該研究提出了一種新的基于動(dòng)態(tài)協(xié)作圖的算法，以此在實(shí)現(xiàn)準(zhǔn)確聯(lián)合動(dòng)作決策的同時(shí)維持充分的值函數(shù)表達(dá)能力。
圖1. 算法在“獵人-獵物”環(huán)境中學(xué)到的動(dòng)態(tài)協(xié)作圖
圖2. 算法在多智能體合作測(cè)試集的實(shí)驗(yàn)結(jié)果
該研究首先構(gòu)造了特殊的協(xié)作圖類(lèi)，這些協(xié)作圖上的聯(lián)合動(dòng)作決策可以在多項(xiàng)式時(shí)間內(nèi)精確求解。之后，該研究在時(shí)序差分學(xué)習(xí)的框架下設(shè)計(jì)了動(dòng)態(tài)協(xié)作圖的機(jī)制，算法可以根據(jù)多智能體系統(tǒng)狀態(tài)的不同從協(xié)作圖類(lèi)中選擇最優(yōu)的協(xié)作圖，這彌補(bǔ)了單一協(xié)作圖表達(dá)能力可能不足的問(wèn)題。在多個(gè)復(fù)雜的多智能體合作任務(wù)上的實(shí)驗(yàn)結(jié)果表明，該算法能在動(dòng)態(tài)環(huán)境中自適應(yīng)地選擇合適的協(xié)作圖結(jié)構(gòu)，并取得了協(xié)作圖算法中最領(lǐng)先的性能。
論文作者：交叉信息院2018級(jí)本科生楊乾瀾，交叉信息院2018級(jí)本科生董煒雋，交叉信息院2020屆姚班校友任之洲，交叉信息院2019屆姚班校友、2019級(jí)交叉信息院博士研究生王鑒浩，交叉信息院2021屆碩士研究生校友王同翰，交叉信息院助理教授張崇潔。
論文鏈接：https://arxiv.org/abs/2112.03547
階段化的自我歸納學(xué)習(xí)：一種高效的稀疏獎(jiǎng)賞強(qiáng)化學(xué)習(xí)方法
近年來(lái)，深度強(qiáng)化學(xué)習(xí)在許多任務(wù)中都取得了驚人的突破，但由于其對(duì)超參數(shù)極為敏感，距離實(shí)際落地還有很大差距。相比之下，監(jiān)督學(xué)習(xí)是一種更加穩(wěn)定的學(xué)習(xí)范式，許多基礎(chǔ)“大模型”正是監(jiān)督學(xué)習(xí)的產(chǎn)物。該研究提出了一種結(jié)合兩種范式的框架“PAIR”，通過(guò)自我歸納產(chǎn)生模仿學(xué)習(xí)數(shù)據(jù)，從而將監(jiān)督學(xué)習(xí)引入強(qiáng)化學(xué)習(xí)，高效穩(wěn)定地解決極具挑戰(zhàn)性的稀疏獎(jiǎng)賞強(qiáng)化學(xué)習(xí)問(wèn)題。
圖1. PAIR算法框架總覽
圖2. PAIR控制機(jī)械臂堆積木塔的策略軌跡
該框架核心設(shè)計(jì)是交替進(jìn)行在線(xiàn)和離線(xiàn)學(xué)習(xí)階段：在線(xiàn)階段智能體一邊進(jìn)行強(qiáng)化學(xué)習(xí)，一邊收集用于離線(xiàn)學(xué)習(xí)的數(shù)據(jù)；離線(xiàn)階段智能體在自己采集的數(shù)據(jù)中成功的軌跡上進(jìn)行自我模仿學(xué)習(xí)。在線(xiàn)階段還加入了自我歸納技術(shù)，讓智能體把原本不會(huì)的困難任務(wù)分解成可以解決的簡(jiǎn)單的任務(wù)，大大擴(kuò)充可用于離線(xiàn)學(xué)習(xí)的數(shù)據(jù)集。研究還引入了基于值函數(shù)的內(nèi)在獎(jiǎng)賞來(lái)提升稀疏獎(jiǎng)賞下的學(xué)習(xí)效率。PAIR是目前已知的第一種在僅給代表成功與否的二值化獎(jiǎng)勵(lì)情況下，學(xué)會(huì)控制機(jī)械臂堆出六層高的積木塔的方法。
論文作者：交叉信息院2020級(jí)博士生李云飛、交叉信息院2019級(jí)本科生高天、交叉信息院2021屆姚班校友楊家齊、交叉信息院擬入職助理教授許華哲、交叉信息院助理教授吳翼。
論文鏈接：https://irisli17.github.io/publication/icml22_pair/
以毒攻毒：引導(dǎo)深度神經(jīng)網(wǎng)絡(luò)避免優(yōu)化捷徑
在監(jiān)督學(xué)習(xí)的分類(lèi)問(wèn)題與序列決策問(wèn)題中，基于深度學(xué)習(xí)的算法憑借優(yōu)異的性能得到了廣泛的關(guān)注與應(yīng)用。然而，研究人員發(fā)現(xiàn)深度學(xué)習(xí)網(wǎng)絡(luò)常常傾向于尋找“捷徑”的解決方案，當(dāng)數(shù)據(jù)分布與訓(xùn)練集有稍許偏差時(shí)，這樣的捷徑解常常會(huì)出現(xiàn)災(zāi)難性的錯(cuò)誤。該研究發(fā)現(xiàn)，當(dāng)人們可以根據(jù)輸入信號(hào)中的關(guān)鍵成分提供一個(gè)額外的“引導(dǎo)”特征時(shí)，深度神經(jīng)網(wǎng)絡(luò)可以成功避免捷徑，這個(gè)“引導(dǎo)”特征可以是一個(gè)對(duì)于輸出目標(biāo)的粗略估計(jì)。這樣的“引導(dǎo)”是根據(jù)輸入信號(hào)中與任務(wù)相關(guān)成分的領(lǐng)域知識(shí)而獲得的，在實(shí)際應(yīng)用中這樣的領(lǐng)域知識(shí)非常容易定義與獲取。比如，人們能夠很清楚地意識(shí)到：在視覺(jué)模仿學(xué)習(xí)中，一段視頻輸入的當(dāng)前幀是比其他的歷史幀更為重要的；在圖像分類(lèi)中，圖片的前景物體要比背景的像素對(duì)分類(lèi)任務(wù)更加關(guān)鍵。
傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)（上圖）與PrimeNet（下圖）的對(duì)比示意圖
該研究根據(jù)這樣的原理提出了“引導(dǎo)網(wǎng)絡(luò)”(PrimeNet)，在圖像分類(lèi)、機(jī)器人控制和自動(dòng)駕駛?cè)蝿?wù)中顯著超過(guò)了現(xiàn)有的最優(yōu)方法。并且，研究組在深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化角度為引導(dǎo)網(wǎng)絡(luò)提供了理論保證，證明了引導(dǎo)特征通過(guò)為神經(jīng)網(wǎng)絡(luò)提供了一個(gè)正確的并且更簡(jiǎn)單的捷徑來(lái)避免了錯(cuò)誤的捷徑方案。
論文作者：交叉信息院2020級(jí)博士生汶川、交叉信息院2020級(jí)博士生滕佳燁、交叉信息研究院助理教授高陽(yáng)。
論文鏈接：https://alvinwen428.github.io/pdf/Fight_Fire_with_Fire__ICML2022_.pdf
基于流的部分可觀(guān)測(cè)馬爾科夫過(guò)程序貫信仰狀態(tài)學(xué)習(xí)
部分可觀(guān)測(cè)馬爾科夫決策過(guò)程是對(duì)真實(shí)世界序貫決策過(guò)程的通用模型，然而其目前在高維連續(xù)空間、模型未知的條件下并未得到良好解決。其中最主要的挑戰(zhàn)之一在于如何準(zhǔn)確獲取其信仰狀態(tài)。
信仰狀態(tài)推斷（左圖）與狀態(tài)采樣預(yù)測(cè)（右圖）
該論文通過(guò)將標(biāo)準(zhǔn)化流模型整合到變分推斷框架中，提出了一種通用的循環(huán)信仰狀態(tài)模型，使其能夠建模更加復(fù)雜的概率分布，從而能夠提高重建和預(yù)測(cè)的精度，以及下游強(qiáng)化學(xué)習(xí)任務(wù)的性能。該方法對(duì)研發(fā)基于高維傳感器輸入的高級(jí)別自動(dòng)駕駛與機(jī)器人等決策系統(tǒng)具有重要意義。
論文作者：交叉信息院2021級(jí)博士生陳曉宇、交叉信息院助理教授陳建宇。
論文鏈接：https://arxiv.org/abs/2205.11051
尋找量化深度神經(jīng)網(wǎng)絡(luò)中的任務(wù)最優(yōu)低比特子分布
量化神經(jīng)網(wǎng)絡(luò)通常需要更小的內(nèi)存占用和更低的計(jì)算復(fù)雜度，這對(duì)于高效的移動(dòng)端部署至關(guān)重要。然而，神經(jīng)網(wǎng)絡(luò)量化不可避免地會(huì)導(dǎo)致與原始網(wǎng)絡(luò)的分布差異，這通常會(huì)降低性能。
大量工作被提出以解決這個(gè)問(wèn)題，但大多數(shù)現(xiàn)有方法都缺乏統(tǒng)計(jì)性質(zhì)上的考慮，并且依賴(lài)于多種復(fù)雜的人工參數(shù)配置。該研究提出了一種自適應(yīng)映射量化方法來(lái)學(xué)習(xí)模型中固有的最優(yōu)潛在子分布，并用高斯混合模型 (concrete GM) 進(jìn)行平滑逼近。網(wǎng)絡(luò)權(quán)重將根據(jù)GM近似的子分布進(jìn)行離散的量化映射，該子分布隨著任務(wù)目標(biāo)優(yōu)化的訓(xùn)練自適應(yīng)更新。
傳統(tǒng)神經(jīng)網(wǎng)絡(luò)權(quán)重量化（左側(cè)圖）與本文提出的DGMS方法（右側(cè)圖）對(duì)比
實(shí)驗(yàn)證明該研究方法在各種先進(jìn)網(wǎng)絡(luò)模型上的有效性、泛化性和可遷移性。此外，該研究開(kāi)發(fā)了一個(gè)移動(dòng)CPU的高效部署流程Q-SIMD，在八核ARM CPU上實(shí)現(xiàn)了高達(dá)7.46倍的推理加速。
論文作者：交叉信息院2019級(jí)博士生譚展宏、交叉信息院2019級(jí)本科生吳夢(mèng)迪、交叉信息院2019級(jí)博士生張林峰、交叉信息院助理教授馬愷聲。
論文鏈接：http://group.iiis.tsinghua.edu.cn/~maks/publications/pdf/ICML2022drp.pdf
無(wú)需預(yù)訓(xùn)練的高效NLP學(xué)習(xí)框架：1%算力 1%語(yǔ)料即可比肩預(yù)訓(xùn)練語(yǔ)言模型
預(yù)訓(xùn)練語(yǔ)言模型因其強(qiáng)大的性能被廣泛關(guān)注?；陬A(yù)訓(xùn)練-微調(diào)(Pretraining-Finetuning)的范式也已經(jīng)成為許多NLP任務(wù)的標(biāo)準(zhǔn)方法。然而，當(dāng)前通用語(yǔ)言模型的預(yù)訓(xùn)練成本極其高昂，這使得只有少數(shù)資源充足的研究機(jī)構(gòu)或者組織能夠?qū)ζ湔归_(kāi)探索。這種“昂貴而集權(quán)”的研究模式限制了平民研究者們?yōu)镹LP社區(qū)做出貢獻(xiàn)的邊界，甚至為該領(lǐng)域的長(zhǎng)期發(fā)展帶來(lái)了障礙。
新提出的TLM框架與傳統(tǒng)的預(yù)訓(xùn)練-微調(diào)框架的比較
該研究首次提出一種完全不需要預(yù)訓(xùn)練語(yǔ)言模型的高效學(xué)習(xí)框架：任務(wù)驅(qū)動(dòng)的語(yǔ)言建模 (TLM, Task-driven Language Modeling)。這一框架從通用語(yǔ)料中篩選出與下游任務(wù)相關(guān)的子集，并將語(yǔ)言建模任務(wù)與下游任務(wù)進(jìn)行聯(lián)合訓(xùn)練 (如左圖所示)。相較于傳統(tǒng)的預(yù)訓(xùn)練模型 (例如 RoBERTa)，TLM僅需要約1%的訓(xùn)練時(shí)間與1%的語(yǔ)料，即可在眾多NLP任務(wù)上比肩甚至超出預(yù)訓(xùn)練模型的性能 (如右圖所示)。作為這一領(lǐng)域的一項(xiàng)突破性進(jìn)展， TLM的提出具有重要意義，它引發(fā)更多對(duì)現(xiàn)有預(yù)訓(xùn)練微調(diào)范式的思考，并進(jìn)一步推動(dòng)NLP民主化的進(jìn)程。
論文作者：交叉信息院2018級(jí)本科生姚星丞、交叉信息院助理教授楊植麟。
論文鏈接：https://arxiv.org/abs/2111.04130
神經(jīng)網(wǎng)絡(luò)訓(xùn)練并不是在尋找駐點(diǎn)
非凸優(yōu)化理論常常分析梯度算法尋找駐點(diǎn)的速率。雖然在這種分析框架下，最優(yōu)的梯度算法已經(jīng)被理論證明，但這些算法（如variance reduction或者Nesterov momentum）的實(shí)驗(yàn)性質(zhì)并不明顯。該研究發(fā)現(xiàn)這種理論偏差是由于其研究目標(biāo)與實(shí)際不符造成的。研究通過(guò)大量ImageNet與Wiki102實(shí)驗(yàn)發(fā)現(xiàn)，絕大多數(shù)模型雖然損失函數(shù)收斂，而其參數(shù)并不在駐點(diǎn)上。
圖1. 不同訓(xùn)練計(jì)劃下的ResNet ImageNet 實(shí)驗(yàn)statistics
圖2. 不同訓(xùn)練計(jì)劃下的TransformerXL Wiki103 實(shí)驗(yàn)statistics
基于上述實(shí)驗(yàn)，該研究借助動(dòng)力系統(tǒng)的invariant measure理念提出了一種新的收斂定義，即參數(shù)的時(shí)間平均收斂。該研究為這種收斂提供了神經(jīng)網(wǎng)絡(luò)優(yōu)化的理論分析。此外，該研究還發(fā)現(xiàn)，實(shí)際中損失函數(shù)的平滑收斂，是由于估計(jì)器在時(shí)間維度做了平滑。
論文作者：交叉信息院助理教授張景昭。
論文鏈接：https://arxiv.org/pdf/2110.06256.pdf
供稿：交叉信息研究院
編輯：李華山
審核：呂婷
