清華新聞網(wǎng)9月27日電 受大腦啟發(fā)，儲(chǔ)備池計(jì)算（Reservoir Computing, RC）為動(dòng)態(tài)時(shí)空信號(hào)的高效處理提供了一種全新的仿生計(jì)算范式，具有易訓(xùn)練、便于硬件實(shí)現(xiàn)等優(yōu)點(diǎn)，成為近年來(lái)類(lèi)腦計(jì)算領(lǐng)域的前沿?zé)狳c(diǎn)。近日，清華大學(xué)集成電路學(xué)院唐建石課題組研制了一種以?xún)煞N不同類(lèi)型的憶阻器為核心元件的全模擬RC系統(tǒng)，采用動(dòng)態(tài)憶阻器陣列實(shí)現(xiàn)并行儲(chǔ)備池層，而讀出層則通過(guò)非易失性憶阻器陣列實(shí)現(xiàn)。相較于傳統(tǒng)全數(shù)字或數(shù)?；旌系挠布軜?gòu)，這種全憶阻器的RC系統(tǒng)具有更加精簡(jiǎn)的電路結(jié)構(gòu)、更少的元器件數(shù)以及更低的功耗。研究團(tuán)隊(duì)利用該系統(tǒng)實(shí)時(shí)演示了異常心率檢測(cè)和動(dòng)態(tài)手勢(shì)識(shí)別等時(shí)序信號(hào)處理任務(wù)，成功實(shí)現(xiàn)了端到端的全模擬計(jì)算和極低的系統(tǒng)功耗，比傳統(tǒng)數(shù)字系統(tǒng)低三個(gè)數(shù)量級(jí)以上。
RC的核心思想是利用物理系統(tǒng)（或物理節(jié)點(diǎn)）自身的動(dòng)態(tài)特性和非線(xiàn)性取代傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)中各個(gè)節(jié)點(diǎn)間的循環(huán)連接，從而大幅減少硬件開(kāi)銷(xiāo)和系統(tǒng)功耗。同時(shí)，由于消除了循環(huán)連接帶來(lái)的誤差積累問(wèn)題，RC系統(tǒng)天然具備全模擬計(jì)算的優(yōu)勢(shì)與潛力。RC系統(tǒng)的硬件實(shí)現(xiàn)大致可分為三個(gè)階段：全數(shù)字系統(tǒng)、數(shù)字-模擬混合系統(tǒng)和全模擬系統(tǒng)。由于前兩種RC系統(tǒng)都需要額外的模擬-數(shù)字轉(zhuǎn)換器和寄存器作為數(shù)據(jù)轉(zhuǎn)換和緩存，這帶來(lái)了大量的系統(tǒng)功耗和延時(shí)。相比之下，全模擬RC系統(tǒng)中儲(chǔ)備池層和讀出層均由模擬元件實(shí)現(xiàn)，輸入的模擬信號(hào)可以在整個(gè)系統(tǒng)中直接傳輸和處理，無(wú)需任何數(shù)據(jù)轉(zhuǎn)換和緩存。要實(shí)現(xiàn)這種能夠以極低功耗和硬件開(kāi)銷(xiāo)實(shí)時(shí)處理時(shí)空信號(hào)的全模擬RC系統(tǒng)，主要有兩大難點(diǎn)問(wèn)題：一是如何構(gòu)建狀態(tài)豐富的儲(chǔ)備池并尋找到物理節(jié)點(diǎn)中決定儲(chǔ)備池性能的關(guān)鍵特征參數(shù)；二是降低全模擬傳輸和處理過(guò)程中的噪聲對(duì)系統(tǒng)性能的負(fù)面影響。
不同類(lèi)型的硬件RC系統(tǒng)：全數(shù)字RC系統(tǒng)、數(shù)?；旌蟁C系統(tǒng)、全模擬RC系統(tǒng)
清華大學(xué)集成電路學(xué)院唐建石副教授課題組從這兩點(diǎn)出發(fā)，設(shè)計(jì)出了具備全模擬計(jì)算能力的DM-RC系統(tǒng)，其核心是由24個(gè)動(dòng)態(tài)憶阻器（DM）構(gòu)成的儲(chǔ)備池層以及由2048個(gè)非易失性憶阻器（NVM）構(gòu)成的讀出層。DM-RC系統(tǒng)中每個(gè)動(dòng)態(tài)憶阻器都構(gòu)成一個(gè)物理節(jié)點(diǎn)，通過(guò)時(shí)分復(fù)用機(jī)制（Mask）能夠產(chǎn)生豐富的儲(chǔ)備池狀態(tài)。研究團(tuán)隊(duì)發(fā)現(xiàn)，物理節(jié)點(diǎn)的閾值、窗口等關(guān)鍵行為特征對(duì)系統(tǒng)的性能影響很大，通過(guò)調(diào)節(jié)動(dòng)態(tài)憶阻器物理節(jié)點(diǎn)的閾值和窗口，可以使得儲(chǔ)備池計(jì)算系統(tǒng)達(dá)到最優(yōu)性能。此外，為了進(jìn)一步抑制噪聲等非理想特性對(duì)系統(tǒng)性能的影響，研究團(tuán)隊(duì)提出了一種帶有噪聲感知能力的線(xiàn)性回歸算法，使用該算法所得到的輸出層權(quán)重具有較好的噪聲魯棒性，能夠很好地補(bǔ)償由器件電導(dǎo)值擾動(dòng)以及模擬傳輸噪聲引起的計(jì)算精度損失。
DM-RC系統(tǒng)的硬件架構(gòu)：其核心是由24個(gè)動(dòng)態(tài)憶阻器（DM）構(gòu)成的儲(chǔ)備池層以及由2048個(gè)非易失性憶阻器（NVM）構(gòu)成的讀出層
為驗(yàn)證DM-RC系統(tǒng)實(shí)時(shí)模擬信號(hào)處理的能力，研究團(tuán)隊(duì)將其應(yīng)用到異常心率檢測(cè)和動(dòng)態(tài)手勢(shì)識(shí)別等任務(wù)中，均展現(xiàn)出優(yōu)異的性能和極低的功耗。以動(dòng)態(tài)手勢(shì)識(shí)別為例，手環(huán)中的三軸加速度傳感器將手部的空間動(dòng)作轉(zhuǎn)換成三路不同的模擬電信號(hào)，每路信號(hào)被分別輸入到八個(gè)DM節(jié)點(diǎn)上產(chǎn)生相應(yīng)的儲(chǔ)備池狀態(tài)，其隨后被直接傳輸?shù)椒且资詰涀杵麝嚵兄羞M(jìn)行模擬域的乘加運(yùn)算，并最終區(qū)分出四類(lèi)不同的動(dòng)態(tài)手勢(shì)。DM-RC系統(tǒng)最終實(shí)現(xiàn)了97.9%的分類(lèi)準(zhǔn)確率，與全數(shù)字RC系統(tǒng)準(zhǔn)確率接近，但卻節(jié)省了99.9%以上的功耗。該工作展示了全模擬的儲(chǔ)備池計(jì)算系統(tǒng)在邊緣計(jì)算、物聯(lián)網(wǎng)等低功耗場(chǎng)景中的應(yīng)用潛力。
DM-RC系統(tǒng)在動(dòng)態(tài)手勢(shì)識(shí)別任務(wù)上的性能表現(xiàn)和系統(tǒng)功耗表現(xiàn)：系統(tǒng)能以全模擬的方式對(duì)傳感器信號(hào)進(jìn)行實(shí)時(shí)處理，實(shí)現(xiàn)了與數(shù)字系統(tǒng)相近的準(zhǔn)確率，且功耗降低3個(gè)數(shù)量級(jí)
相關(guān)成果以“面向?qū)崟r(shí)高效信號(hào)處理的憶阻器模擬儲(chǔ)備池計(jì)算系統(tǒng)”（A memristor-based analogue reservoir computing system for real-time and power-efficient signal processing）為題在線(xiàn)發(fā)表在《自然?電子》（Nature Electronics）上。清華大學(xué)集成電路學(xué)院副教授唐建石和教授吳華強(qiáng)是本論文的共同通訊作者，清華大學(xué)集成電路學(xué)院博士后仲亞楠（現(xiàn)任蘇州大學(xué)功能納米與軟物質(zhì)研究院副教授）、唐建石和博士李辛毅為論文的共同第一作者。該研究得到了科技部科技創(chuàng)新2030重大項(xiàng)目、國(guó)家自然科學(xué)基金委、北京信息科學(xué)與技術(shù)國(guó)家研究中心、集成電路高精尖創(chuàng)新中心、科學(xué)探索獎(jiǎng)等的支持。
近年來(lái)，唐建石副教授課題組圍繞憶阻器與類(lèi)腦計(jì)算開(kāi)展了深入研究，先后在《自然?電子》（Nature Electronics）、《自然?納米科技》（Nature Nanotechnology）、《自然?通訊》（Nature Communications）、《科學(xué)?進(jìn)展》（Science Advances）、《先進(jìn)材料》（Advanced Materials）等期刊以及國(guó)際電子器件會(huì)議（IEDM）等領(lǐng)域內(nèi)國(guó)際學(xué)術(shù)會(huì)議上發(fā)表多篇論文。
論文鏈接：
http://www.nature.com/articles/s41928-022-00838-3
供稿：集成電路學(xué)院
題圖設(shè)計(jì)：劉雨田
編輯：李華山
審核：郭玲
