隨著摩爾定律的放緩,基于硅晶體管和馮諾依曼架構的傳統計算硬件系統在人工智能時代面臨嚴峻的性能瓶頸。受大腦啟發,基于新原理器件的類腦計算致力于充分挖掘電子器件自身的物理屬性作為計算資源,從而在硬件層面高效實現各種人工神經網絡。其中,儲備池計算(ReservoirComputing)是一種適用于高效處理時序信號的人工神經網絡,以其特有的記憶特性和易于硬件實現等優點成為近年來類腦計算領域的前沿熱點。
在最新的研究中,動態憶阻器、自旋電子器件、光電器件等多種新器件被用作儲備池系統中的動態單元。然而,此前的研究大多聚焦在材料與器件層面,儲備池計算硬件架構層面的創新卻并不常見,現有架構大多依賴于復雜的外圍輔助模塊,比如數模轉換、存儲器、控制器等,或存在可解釋性差、并行度低等問題,如何設計一個簡潔、高效的儲備池計算硬件架構仍然是該領域面臨的一大難點。
圖1.旋轉神經元儲備池的發展脈絡,在原理上等效于循環儲備池
清華大學集成電路學院錢鶴教授、吳華強教授團隊提出了一種基于旋轉神經元的新型儲備池計算硬件架構,該架構在原理上與儲備池算法等效,具有較強的可解釋性,同時在非線性系統擬合任務上表現優于現有儲備池計算系統;研究團隊進一步搭建了集成憶阻器陣列輸出層的儲備池計算系統,硬件演示了實時混沌序列預測和手寫字母識別,成功實現了端到端的全模擬計算和極低的系統功耗。
團隊在研究儲備池計算的過程中發現,在物理連接上將一種特定的非線性動態單元(神經元電路)旋轉起來,得到的輸出等效于循環儲備池(Cyclicreservoir)算法的狀態向量輸出。研究團隊通過推導硬件行為描述方程和循環儲備池算法在原理上證明了該等效性,并將這種硬件實現形式命名為旋轉神經元儲備池(Rotatingneuronsreservoir,RNR)。旋轉是自然界中常見的運動,RNR理論具有一定的普適性,該理論認為大部分旋轉物體都可以被用來實現與儲備池算法等效的硬件儲備池。
圖2.基于電子元器件的旋轉神經元儲備池系統
為了驗證RNR的可行性,研究團隊設計了基于電子元器件的旋轉神經元儲備池(electricalRNR,eRNR),包括輸入層、神經元前后轉子、動態神經元三個部分。團隊首先將eRNR的仿真模型應用于十階非線性系統擬合基準任務(NARMA10),得益于硬件行為的非理想動態特性,得到了顯著優于此前文獻報道的擬合效果:單個eRNR的情況下,NRMSE=0.078;多個并行eRNR的情況下,NRMSE=0.055。
研究團隊基于該模型在硬件上搭建了包含64個神經元的eRNR系統,并進一步將憶阻器陣列作為全連接輸出層,實現從傳感器輸入到儲備池計算輸出的全模擬計算與信號處理。團隊在該系統上成功演示了實時混沌序列預測(Mackey-Glass)和手寫元音字母識別,同時功耗比此前文獻報道的儲備池計算系統低三個數量級。
圖3.旋轉神經元儲備池計算系統實現混沌序列預測和手寫字識別
實驗結果表明,eRNR通過引入旋轉神經元的概念實現了簡潔高效的儲備池計算架構,與其它儲備池系統相比,旋轉神經元儲備池計算系統節約了大量的外圍輔助模塊和模塊間的接口,因此降低了整個系統搭建的成本和功耗開銷,更接近于實際應用中的需求。
相關成果以“基于旋轉神經元的全模擬循環儲備池計算”(Rotatingneuronsforall-analogimplementationofcyclicreservoircomputing)為題在線發表在《自然•通訊》(NatureCommunications)上。審稿人高度評價了該研究成果,認為它“有對類腦計算領域產生重要影響的潛力”和“代表了儲備池計算的通往實際應用中過程中的一個有趣和令人興奮的進展”。該工作也獲得《自然•通訊》編輯的好評,被推薦入選了該期刊的亮點文章(Editors’Highlights)。
清華大學集成電路學院唐建石副教授、吳華強教授和格拉斯哥大學哈迪·海德里(HadiHeidari)副教授是本論文的共同通訊作者,清華大學集成電路學院訪問博士生梁向鵬和博士后仲亞楠為共同第一作者。該研究得到了國家自然科學基金委、科技部重點研發計劃、北京信息科學與技術國家研究中心、科學探索獎、高精尖創新中心等支持。