清華新聞網(wǎng)4月7日電 隨著摩爾定律的放緩，基于硅晶體管和馮諾依曼架構(gòu)的傳統(tǒng)計(jì)算硬件系統(tǒng)在人工智能時(shí)代面臨嚴(yán)峻的性能瓶頸。受大腦啟發(fā)，基于新原理器件的類(lèi)腦計(jì)算致力于充分挖掘電子器件自身的物理屬性作為計(jì)算資源，從而在硬件層面高效實(shí)現(xiàn)各種人工神經(jīng)網(wǎng)絡(luò)。其中，儲(chǔ)備池計(jì)算（Reservoir Computing）是一種適用于高效處理時(shí)序信號(hào)的人工神經(jīng)網(wǎng)絡(luò)，以其特有的記憶特性和易于硬件實(shí)現(xiàn)等優(yōu)點(diǎn)成為近年來(lái)類(lèi)腦計(jì)算領(lǐng)域的前沿?zé)狳c(diǎn)。
在最新的研究中，動(dòng)態(tài)憶阻器、自旋電子器件、光電器件等多種新器件被用作儲(chǔ)備池系統(tǒng)中的動(dòng)態(tài)單元。然而，此前的研究大多聚焦在材料與器件層面，儲(chǔ)備池計(jì)算硬件架構(gòu)層面的創(chuàng)新卻并不常見(jiàn)，現(xiàn)有架構(gòu)大多依賴(lài)于復(fù)雜的外圍輔助模塊，比如數(shù)模轉(zhuǎn)換、存儲(chǔ)器、控制器等，或存在可解釋性差、并行度低等問(wèn)題，如何設(shè)計(jì)一個(gè)簡(jiǎn)潔、高效的儲(chǔ)備池計(jì)算硬件架構(gòu)仍然是該領(lǐng)域面臨的一大難點(diǎn)。
圖1.旋轉(zhuǎn)神經(jīng)元儲(chǔ)備池的發(fā)展脈絡(luò)，在原理上等效于循環(huán)儲(chǔ)備池
清華大學(xué)集成電路學(xué)院錢(qián)鶴教授、吳華強(qiáng)教授團(tuán)隊(duì)提出了一種基于旋轉(zhuǎn)神經(jīng)元的新型儲(chǔ)備池計(jì)算硬件架構(gòu)，該架構(gòu)在原理上與儲(chǔ)備池算法等效，具有較強(qiáng)的可解釋性，同時(shí)在非線(xiàn)性系統(tǒng)擬合任務(wù)上表現(xiàn)優(yōu)于現(xiàn)有儲(chǔ)備池計(jì)算系統(tǒng)；研究團(tuán)隊(duì)進(jìn)一步搭建了集成憶阻器陣列輸出層的儲(chǔ)備池計(jì)算系統(tǒng)，硬件演示了實(shí)時(shí)混沌序列預(yù)測(cè)和手寫(xiě)字母識(shí)別，成功實(shí)現(xiàn)了端到端的全模擬計(jì)算和極低的系統(tǒng)功耗。
團(tuán)隊(duì)在研究?jī)?chǔ)備池計(jì)算的過(guò)程中發(fā)現(xiàn)，在物理連接上將一種特定的非線(xiàn)性動(dòng)態(tài)單元（神經(jīng)元電路）旋轉(zhuǎn)起來(lái)，得到的輸出等效于循環(huán)儲(chǔ)備池（Cyclic reservoir）算法的狀態(tài)向量輸出。研究團(tuán)隊(duì)通過(guò)推導(dǎo)硬件行為描述方程和循環(huán)儲(chǔ)備池算法在原理上證明了該等效性，并將這種硬件實(shí)現(xiàn)形式命名為旋轉(zhuǎn)神經(jīng)元儲(chǔ)備池（Rotating neurons reservoir, RNR）。旋轉(zhuǎn)是自然界中常見(jiàn)的運(yùn)動(dòng)，RNR理論具有一定的普適性，該理論認(rèn)為大部分旋轉(zhuǎn)物體都可以被用來(lái)實(shí)現(xiàn)與儲(chǔ)備池算法等效的硬件儲(chǔ)備池。
圖2. 基于電子元器件的旋轉(zhuǎn)神經(jīng)元儲(chǔ)備池系統(tǒng)
為了驗(yàn)證RNR的可行性，研究團(tuán)隊(duì)設(shè)計(jì)了基于電子元器件的旋轉(zhuǎn)神經(jīng)元儲(chǔ)備池（electrical RNR，eRNR），包括輸入層、神經(jīng)元前后轉(zhuǎn)子、動(dòng)態(tài)神經(jīng)元三個(gè)部分。團(tuán)隊(duì)首先將eRNR的仿真模型應(yīng)用于十階非線(xiàn)性系統(tǒng)擬合基準(zhǔn)任務(wù)（NARMA10），得益于硬件行為的非理想動(dòng)態(tài)特性，得到了顯著優(yōu)于此前文獻(xiàn)報(bào)道的擬合效果：?jiǎn)蝹€(gè)eRNR的情況下，NRMSE=0.078；多個(gè)并行eRNR的情況下，NRMSE=0.055。
研究團(tuán)隊(duì)基于該模型在硬件上搭建了包含64個(gè)神經(jīng)元的eRNR系統(tǒng)，并進(jìn)一步將憶阻器陣列作為全連接輸出層，實(shí)現(xiàn)從傳感器輸入到儲(chǔ)備池計(jì)算輸出的全模擬計(jì)算與信號(hào)處理。團(tuán)隊(duì)在該系統(tǒng)上成功演示了實(shí)時(shí)混沌序列預(yù)測(cè)（Mackey-Glass）和手寫(xiě)元音字母識(shí)別，同時(shí)功耗比此前文獻(xiàn)報(bào)道的儲(chǔ)備池計(jì)算系統(tǒng)低三個(gè)數(shù)量級(jí)。
圖3.旋轉(zhuǎn)神經(jīng)元儲(chǔ)備池計(jì)算系統(tǒng)實(shí)現(xiàn)混沌序列預(yù)測(cè)和手寫(xiě)字識(shí)別
實(shí)驗(yàn)結(jié)果表明，eRNR通過(guò)引入旋轉(zhuǎn)神經(jīng)元的概念實(shí)現(xiàn)了簡(jiǎn)潔高效的儲(chǔ)備池計(jì)算架構(gòu)，與其它儲(chǔ)備池系統(tǒng)相比，旋轉(zhuǎn)神經(jīng)元儲(chǔ)備池計(jì)算系統(tǒng)節(jié)約了大量的外圍輔助模塊和模塊間的接口，因此降低了整個(gè)系統(tǒng)搭建的成本和功耗開(kāi)銷(xiāo)，更接近于實(shí)際應(yīng)用中的需求。
相關(guān)成果以“基于旋轉(zhuǎn)神經(jīng)元的全模擬循環(huán)儲(chǔ)備池計(jì)算”（Rotating neurons for all-analog implementation of cyclic reservoir computing）為題在線(xiàn)發(fā)表在《自然?通訊》（Nature Communications）上。審稿人高度評(píng)價(jià)了該研究成果，認(rèn)為它“有對(duì)類(lèi)腦計(jì)算領(lǐng)域產(chǎn)生重要影響的潛力”和“代表了儲(chǔ)備池計(jì)算的通往實(shí)際應(yīng)用中過(guò)程中的一個(gè)有趣和令人興奮的進(jìn)展”。該工作也獲得《自然?通訊》編輯的好評(píng)，被推薦入選了該期刊的亮點(diǎn)文章（Editors’Highlights）。
清華大學(xué)集成電路學(xué)院唐建石副教授、吳華強(qiáng)教授和格拉斯哥大學(xué)哈迪·海德里（Hadi Heidari）副教授是本論文的共同通訊作者，清華大學(xué)集成電路學(xué)院訪(fǎng)問(wèn)博士生梁向鵬和博士后仲亞楠為共同第一作者。該研究得到了國(guó)家自然科學(xué)基金委、科技部重點(diǎn)研發(fā)計(jì)劃、北京信息科學(xué)與技術(shù)國(guó)家研究中心、科學(xué)探索獎(jiǎng)、高精尖創(chuàng)新中心等支持。
論文鏈接：
http://www.nature.com/articles/ s41467-022-29260-1
供稿：集成電路學(xué)院
題圖設(shè)計(jì)：曾儀
編輯：李華山
審核：呂婷
