清華新聞網(wǎng)11月4日電 知識(shí)蒸餾（knowledge distillation）是模型壓縮的一種常用方法，通過(guò)構(gòu)建一個(gè)輕量化的小模型，利用性能更好的大模型的監(jiān)督信息來(lái)訓(xùn)練這個(gè)小模型，以期達(dá)到更好的性能和精度。目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)中的一個(gè)重要任務(wù)，知識(shí)蒸餾可以在不增加其計(jì)算消耗的前提下提升其表現(xiàn)。
前背景的不平衡對(duì)于目標(biāo)檢測(cè)而言是一個(gè)重要的問(wèn)題，這個(gè)問(wèn)題同樣影響著知識(shí)蒸餾。近日，清華大學(xué)深圳國(guó)際研究生院袁春團(tuán)隊(duì)對(duì)學(xué)生模型和教師模型二者的特征圖進(jìn)行了可視化，發(fā)現(xiàn)教師與學(xué)生在空間注意力方面在前景中的差異較大，在背景中的差異較小，這會(huì)給蒸餾中的學(xué)生模型帶來(lái)不同的學(xué)習(xí)難度。接著，團(tuán)隊(duì)分離出前背景進(jìn)行蒸餾實(shí)驗(yàn)，發(fā)現(xiàn)當(dāng)全圖特征混在一起蒸餾時(shí)，為學(xué)生模型帶來(lái)的提升最小，而將前景與背景分開(kāi)，賦予不同的權(quán)重時(shí)，學(xué)生模型能夠獲得更好的表現(xiàn)。
學(xué)生與教師網(wǎng)絡(luò)空間與通道注意力
針對(duì)上述結(jié)論，團(tuán)隊(duì)首先提出了“重點(diǎn)蒸餾（Focal Distillation）”：分離前背景，賦予不同的權(quán)重，并利用教師的空間與通道注意力作為權(quán)重，共同指導(dǎo)學(xué)生模型進(jìn)行學(xué)習(xí)，計(jì)算重點(diǎn)蒸餾損失。由于重點(diǎn)蒸餾將前景與背景分開(kāi)進(jìn)行蒸餾，切斷了前背景的聯(lián)系，為此，團(tuán)隊(duì)提出了“全局蒸餾（Global Distillation）”解決方案：利用全局語(yǔ)義信息模塊（Global Context Block，GcBlock）分別提取學(xué)生與教師的全局信息，并計(jì)算全局蒸餾損失。結(jié)合二者，團(tuán)隊(duì)最終提出了“重點(diǎn)與全局知識(shí)蒸餾（Focal and Global Distillation，F(xiàn)GD）。
FGD整體結(jié)構(gòu)
團(tuán)隊(duì)將FGD應(yīng)用到了基于錨框（Anchor-based）與無(wú)錨框（Anchor-free）的單階段與二階段檢測(cè)器?？梢钥吹?，通過(guò)知識(shí)蒸餾，各類(lèi)學(xué)生檢測(cè)器均獲得了大幅的平均查準(zhǔn)（AP）和平均召回（AR）提升。此外，團(tuán)隊(duì)也將FGD拓展到實(shí)例分割任務(wù)上，F(xiàn)GD同樣可以為Mask R-CNN帶來(lái)大幅的性能提升。
更強(qiáng)的教師蒸餾實(shí)驗(yàn)結(jié)果
團(tuán)隊(duì)也對(duì)FGD如何幫助學(xué)生模型學(xué)習(xí)進(jìn)行了分析，對(duì)使用FGD蒸餾完成后的學(xué)生模型再次進(jìn)行了注意力的可視化。研究結(jié)果表明，經(jīng)過(guò)FGD蒸餾訓(xùn)練后的學(xué)生模型空間注意力和通道注意力的分布均與教師模型相似。這表明學(xué)生模型通過(guò)蒸餾學(xué)到了教師的知識(shí)，并獲得更好的特征，由此實(shí)現(xiàn)性能提升。
蒸餾前后學(xué)生與教師注意力對(duì)比
FGD作為一種通用的針對(duì)目標(biāo)檢測(cè)任務(wù)的知識(shí)蒸餾方法，可以方便地應(yīng)用到各種類(lèi)型的檢測(cè)器上，在不引入額外參數(shù)和計(jì)算的前提下提升模型表現(xiàn)。
上述研究成果以“目標(biāo)檢測(cè)的重點(diǎn)與全局知識(shí)蒸餾”（Focal and Global Knowledge Distillation for Detectors）為題，發(fā)表在2022年國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別大會(huì)（IEEE Conference on Computer Vision and Pattern Recognition，CVPR 2022）上。該論文第一作者為清華大學(xué)深圳國(guó)際研究生院2021級(jí)碩士生楊震東，通訊作者為清華大學(xué)深圳國(guó)際研究生院袁春教授，論文作者還包括清華大學(xué)深圳國(guó)際研究生院2021級(jí)碩士生江曉湖。該研究成果得到了國(guó)家自然科學(xué)基金委和深圳科技創(chuàng)新項(xiàng)目的支持。
論文鏈接：
https://ieeexplore.ieee.org/document/9879869
供稿：深圳國(guó)際研究生院
編輯：李華山
審核：郭玲
