清華新聞網(wǎng)7月12日電 隨著信息技術(shù)的發(fā)展和算力的提高，深度學(xué)習(xí)時(shí)間序列分類(lèi)模型的實(shí)現(xiàn)變得愈發(fā)復(fù)雜和精巧。但對(duì)于一些特定的領(lǐng)域下的時(shí)間序列分類(lèi)數(shù)據(jù)集而言，可能存在由于樣本較為缺乏而導(dǎo)致訓(xùn)練出的深度學(xué)習(xí)分類(lèi)器泛化能力不足的問(wèn)題，并且時(shí)間序列領(lǐng)域的數(shù)據(jù)由于各時(shí)間點(diǎn)間的依賴(lài)需要被充分考慮，進(jìn)而導(dǎo)致相應(yīng)的數(shù)據(jù)增強(qiáng)技術(shù)在很多場(chǎng)景下存在訓(xùn)練困難的情況。由于不同時(shí)間序列分類(lèi)領(lǐng)域的實(shí)驗(yàn)成本、數(shù)據(jù)采集條件不同，對(duì)于一個(gè)特定的樣本缺乏的目標(biāo)域分類(lèi)任務(wù)，如果能夠借助廣泛存在的與之在標(biāo)簽集上、長(zhǎng)度、通道數(shù)等方面均存在差異的數(shù)據(jù)集作為源域數(shù)據(jù)集并嘗試進(jìn)行遷移學(xué)習(xí)，以增強(qiáng)目標(biāo)域分類(lèi)器的泛化能力和分類(lèi)性能，將會(huì)在一些分類(lèi)場(chǎng)景下發(fā)揮一定作用。
近日，清華大學(xué)深圳國(guó)際研究生院李星輝副教授團(tuán)隊(duì)受視覺(jué)任務(wù)中以CycleGAN為代表的風(fēng)格遷移以及領(lǐng)域自適應(yīng)中的條件對(duì)抗方法啟發(fā)，構(gòu)建了從弱相關(guān)時(shí)間序列分類(lèi)數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)的架構(gòu)。該架構(gòu)在考慮源域和目標(biāo)域間的差異以及因此而可能產(chǎn)生的負(fù)遷移的基礎(chǔ)上，將源域和目標(biāo)域分類(lèi)器分別搭建，通過(guò)在不同深度的表征層上進(jìn)行對(duì)齊操作并借助歸一化流生成同時(shí)帶有目標(biāo)域與源域特征的表征，實(shí)現(xiàn)了源域到目標(biāo)域的遷移。由于在新表征的生成上以及計(jì)算的全流程上與風(fēng)格遷移有相似之處，因而命名方法為特征層風(fēng)格遷移。
圖1.團(tuán)隊(duì)所提架構(gòu)
由于最終面向的是分類(lèi)任務(wù)，在進(jìn)行目標(biāo)域表征對(duì)齊的過(guò)程中，架構(gòu)采用了條件對(duì)抗自適應(yīng)網(wǎng)絡(luò)中的方法，將目標(biāo)域表征以及新生成表征與各自對(duì)應(yīng)的分類(lèi)結(jié)果進(jìn)行隨機(jī)多線(xiàn)性映射以捕捉它們之間的依賴(lài)，在通過(guò)對(duì)抗方法拉進(jìn)表征間距離的同時(shí)，對(duì)目標(biāo)域分類(lèi)器的參數(shù)進(jìn)行修改。此外，針對(duì)同一目標(biāo)域分類(lèi)數(shù)據(jù)集，通過(guò)選擇不同的源域數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)并對(duì)得到的目標(biāo)域分類(lèi)器們運(yùn)用投票機(jī)制，實(shí)現(xiàn)最終分類(lèi)結(jié)果的確認(rèn)。
圖2.計(jì)算流程圖
以能夠自動(dòng)適配最佳感受野的OS-CNN為基礎(chǔ)分類(lèi)器，研究團(tuán)隊(duì)在此基礎(chǔ)上將存在樣本缺乏且不存在類(lèi)別不均衡等其他不利因素的難分類(lèi)公開(kāi)時(shí)間序列分類(lèi)數(shù)據(jù)集作為目標(biāo)域，并隨機(jī)選取與之弱相關(guān)的時(shí)間序列分類(lèi)數(shù)據(jù)集作為源域開(kāi)展實(shí)驗(yàn)后可以發(fā)現(xiàn)，從弱相關(guān)時(shí)間序列分類(lèi)數(shù)據(jù)集進(jìn)行遷移的效果可能與從其他角度入手的深度學(xué)習(xí)分類(lèi)方法、集成了多種統(tǒng)計(jì)學(xué)習(xí)方法的時(shí)間序列分類(lèi)器達(dá)到相匹敵的準(zhǔn)確度。此外，通過(guò)對(duì)現(xiàn)有的時(shí)間序列遷移學(xué)習(xí)架構(gòu)進(jìn)行增加尺寸變換等模塊并將它們應(yīng)用于弱相關(guān)時(shí)間序列分類(lèi)任務(wù)間的遷移學(xué)習(xí)場(chǎng)景，并把得到的結(jié)果與所提架構(gòu)進(jìn)行比較，可以進(jìn)一步論證本架構(gòu)的有效性。
表1.實(shí)驗(yàn)結(jié)果以及消融實(shí)驗(yàn)結(jié)果
圖3. 對(duì)比實(shí)驗(yàn)結(jié)果
近日，相關(guān)研究成果以“從特征層風(fēng)格遷移和多源域遷移學(xué)習(xí)的角度提升時(shí)間序列分類(lèi)器的泛化能力”（Towards the generalization of time series classification: A feature-level style transfer and multi-source transfer learning perspective）為題，發(fā)表于《基于知識(shí)的系統(tǒng)》（Knowledge-Based Systems，KBS）上。
李星輝為論文的通訊作者，深圳國(guó)際研究生院2021級(jí)碩士陳柏含為論文的第一作者。論文的共同作者包括深圳國(guó)際研究生院博士后李橋林、科研助理馬瑞、副教授錢(qián)翔和教授王曉浩。研究得到清華大學(xué)深圳國(guó)際研究生院交叉學(xué)科基金、深圳穩(wěn)定支持項(xiàng)目以及清華大學(xué)深圳國(guó)際研究生院?jiǎn)?dòng)基金的支持。
論文鏈接：
https://doi.org/10.1016/j.knosys.2024.112057
供稿：深圳國(guó)際研究生院
編輯：李華山
審核：郭玲
