清華新聞網(wǎng)6月20日電 隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，人工智能在諸多領(lǐng)域取得了顯著突破，如自然語(yǔ)言處理、圖像識(shí)別和語(yǔ)音識(shí)別等。深度學(xué)習(xí)模型以其出色的性能和廣泛的應(yīng)用前景在工業(yè)界引起了高度關(guān)注。要使深度學(xué)習(xí)模型在實(shí)際應(yīng)用中表現(xiàn)出色，首先要解決的就是高質(zhì)量數(shù)據(jù)集的獲取問(wèn)題，但當(dāng)前工業(yè)界在數(shù)據(jù)的收集方面仍面臨挑戰(zhàn)，例如由隱私和安全等因素導(dǎo)致數(shù)據(jù)獲取和處理復(fù)雜且昂貴；數(shù)據(jù)采集和標(biāo)注對(duì)人員和設(shè)備專(zhuān)業(yè)度要求高、數(shù)據(jù)收集成本高；大規(guī)模的數(shù)據(jù)采集和處理對(duì)時(shí)間和資源的消耗量大等?；诖?，遷移學(xué)習(xí)技術(shù)逐漸成為了工業(yè)缺陷檢測(cè)的一種有效解決方案，即一種將在一個(gè)領(lǐng)域中學(xué)到的知識(shí)和經(jīng)驗(yàn)應(yīng)用到另一個(gè)領(lǐng)域的機(jī)器學(xué)習(xí)方法，通過(guò)利用源域中已有的大規(guī)模數(shù)據(jù)和模型，在目標(biāo)領(lǐng)域標(biāo)注數(shù)據(jù)不足情況下仍能達(dá)到良好的性能指標(biāo)。
近日，清華大學(xué)深圳國(guó)際研究生院李星輝副教授團(tuán)隊(duì)以“只需要看一次”（You Only Look Once，YOLO）系列目標(biāo)檢測(cè)算法為例，提出了基于領(lǐng)域自適應(yīng)的可嵌入模塊，可以有效克服不同域之間的域偏移（domain shift）問(wèn)題，高效利用不同來(lái)源的數(shù)據(jù)支持目標(biāo)域任務(wù)訓(xùn)練，極大程度緩解了深度學(xué)習(xí)模型對(duì)數(shù)據(jù)集規(guī)模的高要求，有效降低了搜集目標(biāo)域數(shù)據(jù)所需的昂貴時(shí)間及人工成本。
模塊主要部署在檢測(cè)網(wǎng)絡(luò)的特征提取部分，使用特征網(wǎng)絡(luò)中不同深度的特征圖，將其線(xiàn)性組合作為對(duì)應(yīng)源域或者目標(biāo)域的特征表征。在獲取兩個(gè)領(lǐng)域各自的特征表征后，度量?jī)蓚€(gè)領(lǐng)域的差異，將其作為損失項(xiàng)加入模型的損失函數(shù)，使之可以隨著訓(xùn)練迭代最小化（拉近源域和目標(biāo)域的距離），以達(dá)到利用源域數(shù)據(jù)集指導(dǎo)模型在目標(biāo)域數(shù)據(jù)集上訓(xùn)練的目的。
研究提出的第一個(gè)模塊為“領(lǐng)域自適應(yīng)”（Domain Adaptation，DA）模塊，該模塊使用特征提取網(wǎng)絡(luò)不同深度特征圖作為輸出，通過(guò)通道數(shù)調(diào)整、降維以及多分支加權(quán)組合得到對(duì)應(yīng)領(lǐng)域的域表征（Domain representation）。
圖1.DA模塊的使用方式
通過(guò)觀(guān)察數(shù)據(jù)集不同域之間的差異，研究團(tuán)隊(duì)針對(duì)應(yīng)用場(chǎng)景提出了一種新的領(lǐng)域自適應(yīng)方法，回答了遷移學(xué)習(xí)中的核心問(wèn)題——任務(wù)中“知識(shí)的遷移”指的是什么知識(shí)、“領(lǐng)域自適應(yīng)”指的是什么領(lǐng)域。在工業(yè)檢測(cè)應(yīng)用場(chǎng)景中，源域和目標(biāo)域?yàn)橥?lèi)型但不同來(lái)源的數(shù)據(jù)，故團(tuán)隊(duì)選擇定義風(fēng)格作為其要自適應(yīng)的領(lǐng)域，并將該方法命名為“風(fēng)格自適應(yīng)”（Style Adaptation，SA）。
圖2.SA模塊的使用方式
SA模塊仍然使用DA類(lèi)似方法，通道數(shù)調(diào)整之后提取各分支的風(fēng)格特征，最后使用注意力機(jī)制將各分支融合得到各領(lǐng)域?qū)?yīng)的風(fēng)格表征（style representation）。相較于DA方法，SA方法可解釋性更高、超參數(shù)更少、更輕量且能更有效消除域偏移現(xiàn)象。
圖3.SA模塊的具體細(xì)節(jié)
經(jīng)實(shí)驗(yàn)證實(shí)，該工作提出的DA和SA模型在小樣本的磁瓦表面缺陷檢測(cè)領(lǐng)域具有較好精度表現(xiàn)。同時(shí)在保持較高檢測(cè)精度的同時(shí)，DA和SA作為兩個(gè)可插入模塊對(duì)base網(wǎng)絡(luò)增加的代價(jià)并不高，SA在使得檢測(cè)精度更高的同時(shí)保證了增加代價(jià)更少（表1）。此外，可插入模塊的設(shè)計(jì)使得檢測(cè)模型收斂更快（表2）。
表1.不同目標(biāo)域上的模型泛化性驗(yàn)證。表中“+”表示該方法可以作為一個(gè)可插入模塊進(jìn)行集成?！?”后面的值表示與原始基礎(chǔ)網(wǎng)絡(luò)相比，嵌入模塊所產(chǎn)生的額外成本
表2.檢測(cè)模型隨訓(xùn)練迭代的精度變化
近日，相關(guān)研究以“風(fēng)格自適應(yīng)模塊：在表面缺陷檢測(cè)中增強(qiáng)檢測(cè)器對(duì)不同制造商間差異的魯棒性”（Style Adaptation Module: Enhancing Detector Robustness to Inter-Manufacturer Variability in Surface Defect Detection）為題，發(fā)表于《工業(yè)計(jì)算機(jī)》（Computers in Industry, COMIND）。李星輝為論文通訊作者，清華大學(xué)深圳國(guó)際研究生院2021級(jí)碩士生李晨為論文第一作者，2021級(jí)碩士生潘夏凱為第二作者。論文作者還包括深圳至漢裝備有限公司朱培源，桂林漢璟智能儀器有限公司廖呈瑋，廣西桂華智能制造有限公司田昊洋，深圳國(guó)際研究生院副教授錢(qián)翔、教授李秀以及研究員王曉浩。項(xiàng)目得到了深圳穩(wěn)定支持項(xiàng)目、國(guó)家重點(diǎn)研發(fā)計(jì)劃基金以及清華大學(xué)深圳國(guó)際研究生院交叉學(xué)科基金的支持。
模塊DA以“面向工業(yè)缺陷檢測(cè)的領(lǐng)域自適應(yīng)YOLOv5模型”（A domain adaptation YOLOv5 model for industrial defect inspection）為題，發(fā)表于《測(cè)量》（Measurement, MEAS）。李星輝為論文通訊作者，錢(qián)翔為共同通訊作者，李晨、深圳國(guó)際研究生院2019級(jí)碩士閆昊昕為論文共同第一作者。論文作者還包括朱培源、廖呈瑋、田昊洋、李秀以及王曉浩。項(xiàng)目得到了深圳穩(wěn)定支持項(xiàng)目、國(guó)家重點(diǎn)研發(fā)計(jì)劃基金以及清華大學(xué)深圳國(guó)際研究生院交叉學(xué)科基金的支持。
論文鏈接：
https://doi.org/10.1016/j.compind.2024.104084
https://doi.org/10.1016/j.measurement.2023.112725
供稿：深圳國(guó)際研究生院
編輯：李華山
審核：郭玲
