清華新聞網(wǎng)10月9日電 人工神經(jīng)網(wǎng)絡(luò)（ANN）在過(guò)去十幾年中發(fā)展迅猛。ANN范式最初的主要任務(wù)是通過(guò)調(diào)整固定拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)中的連接權(quán)重來(lái)實(shí)現(xiàn)（局部）最優(yōu)的任務(wù)表現(xiàn)。但最近，如何使網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)也能進(jìn)化和自適應(yīng)重構(gòu)這一問(wèn)題受到了領(lǐng)域里研究者更多的關(guān)注，因?yàn)榫W(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的可進(jìn)化能力被認(rèn)為是人工通用智能的一個(gè)基礎(chǔ)，這是人工智能技術(shù)的長(zhǎng)遠(yuǎn)目標(biāo)。效率和可重構(gòu)性之間的沖突成為人工神經(jīng)網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)可進(jìn)化目標(biāo)的一個(gè)主要障礙。
憶阻器是具有記憶功能的可變電阻器，具有豐富的內(nèi)在動(dòng)力學(xué)行為，和生物神經(jīng)單元的行為有可類(lèi)比之處，作為一種新型的神經(jīng)形態(tài)硬件給腦啟發(fā)計(jì)算范式的發(fā)展注入了巨大的活力。憶阻器通常被集成到交叉陣列中以用作神經(jīng)網(wǎng)絡(luò)中神經(jīng)元層之間的突觸連接。受經(jīng)典深度學(xué)習(xí)算法的影響，憶阻器主要用于構(gòu)建固定結(jié)構(gòu)ANN的加速器。這要求憶阻器克服內(nèi)在動(dòng)力學(xué)所固有的隨機(jī)性，以保持穩(wěn)定的靜態(tài)電阻和較高的循環(huán)耐受性。然而，為了滿(mǎn)足這些需求，往往需要花費(fèi)大量的器件級(jí)和電路級(jí)優(yōu)化精力。
受ANN技術(shù)發(fā)展趨勢(shì)的引導(dǎo)和憶阻器在A(yíng)NN應(yīng)用中存在的問(wèn)題啟發(fā)，清華大學(xué)精密儀器系類(lèi)腦計(jì)算團(tuán)隊(duì)提出逆向利用憶阻器動(dòng)力學(xué)的內(nèi)在隨機(jī)性實(shí)現(xiàn)復(fù)雜網(wǎng)絡(luò)的按需生成的方法。在該方法中，通過(guò)時(shí)間復(fù)用創(chuàng)建多個(gè)虛擬節(jié)點(diǎn)，并利用器件動(dòng)力學(xué)所具有的周期到周期（cycle to cycle，C2C）可變性生成不平凡的網(wǎng)絡(luò)拓?fù)涮卣鳎缧∈澜缣卣?。?dāng)用于儲(chǔ)備池計(jì)算時(shí)，與傳統(tǒng)的全連接網(wǎng)絡(luò)儲(chǔ)備池相比，憶阻器復(fù)雜網(wǎng)絡(luò)可以顯著增加儲(chǔ)備池記憶容量并提高性能。這項(xiàng)工作拓展了基于憶阻器的神經(jīng)形態(tài)計(jì)算范式，并有望啟發(fā)對(duì)憶阻器的內(nèi)在物理性質(zhì)（例如動(dòng)力學(xué)和隨機(jī)性）進(jìn)行更多研究和應(yīng)用。該成果近日以“具有內(nèi)在可變性的動(dòng)態(tài)憶阻器內(nèi)的生成復(fù)雜網(wǎng)絡(luò)”（Generative complex networks within a dynamic memristor with intrinsic variability）為題發(fā)表在《自然·通訊》（Nature Communications）上。
圖1.動(dòng)態(tài)憶阻器表征及電學(xué)特性
該研究所用到的Pd/HfO2/Ta2O5/Ta憶阻器（圖1所示）被電激發(fā)后的自發(fā)電阻衰減時(shí)間常數(shù)具有C2C可變性，以此作為時(shí)域虛擬節(jié)點(diǎn)連接的隨機(jī)性來(lái)源。依據(jù)C2C隨機(jī)性的統(tǒng)計(jì)規(guī)律設(shè)計(jì)了“probabilistic border and all-or-none connection”（PBAONC）連接生成機(jī)制用于創(chuàng)建復(fù)雜網(wǎng)絡(luò)（圖2所示）。該設(shè)計(jì)使得僅在單個(gè)憶阻器內(nèi)通過(guò)調(diào)節(jié)時(shí)間復(fù)用時(shí)隙就可以便捷地調(diào)節(jié)復(fù)雜網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，提高了憶阻器應(yīng)用于A(yíng)NN時(shí)的效率和可重構(gòu)性。
圖2.PBAONC復(fù)雜網(wǎng)絡(luò)的生成示意圖
圖3.基于憶阻器的PBAONC復(fù)雜網(wǎng)絡(luò)儲(chǔ)備池計(jì)算
該方法利用動(dòng)態(tài)憶阻器電阻衰減的內(nèi)在C2C可變性來(lái)生成復(fù)雜的網(wǎng)絡(luò)連接模式。生成的PBAONC復(fù)雜網(wǎng)絡(luò)具有一定程度的小世界特性，這是生物（例如大腦）、互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)中普遍存在的特征，實(shí)現(xiàn)了信息整合和分化的更優(yōu)平衡。該工作展示了憶阻器PBAONC復(fù)雜網(wǎng)絡(luò)在類(lèi)腦儲(chǔ)備池計(jì)算任務(wù)中的優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果表明，基于PBAONC拓?fù)涞膬?chǔ)備池網(wǎng)絡(luò)具有更優(yōu)的譜半徑（圖3所示）。憶阻器復(fù)雜網(wǎng)絡(luò)儲(chǔ)備池的記憶容量增加到傳統(tǒng)憶阻器全連接儲(chǔ)備池網(wǎng)絡(luò)的209.8%并且在語(yǔ)音識(shí)別任務(wù)中展現(xiàn)出更佳的性能（圖4所示）。
圖4.時(shí)序信息處理任務(wù)
該研究的第一完成單位為清華大學(xué)精密儀器系、清華大學(xué)類(lèi)腦計(jì)算研究中心。清華大學(xué)精密儀器系2020級(jí)博士研究生郭云鵬、北京信息科技大學(xué)段文睿講師和清華大學(xué)類(lèi)腦計(jì)算中心劉學(xué)工程師為該論文共同第一作者，李黃龍副教授、馬騁副研究員、劉學(xué)工程師和段文睿講師為該論文的共同通訊作者。精密儀器系博士生王昕鑫、西南大學(xué)段書(shū)凱教授和王麗丹教授為研究作出了重要貢獻(xiàn)。該研究得到了國(guó)家自然科學(xué)基金、科技創(chuàng)新2030-“腦科學(xué)與類(lèi)腦研究”重大項(xiàng)目、北京市腦科學(xué)與類(lèi)腦研究中心等的資助。
論文鏈接：
https://www.nature.com/articles/s41467-023-41921-3
供稿：精儀系
題圖設(shè)計(jì)：趙存存
編輯：李華山
審核：郭玲
