近日，南方科技大學(xué)深港微電子學(xué)院王中銳博士團隊與中科院微電子所集成電路制造技術(shù)全國重點實驗室尚大山研究員合作，開發(fā)了一種基于液體狀態(tài)機（Liquid State Machine, LSM）零樣本對比學(xué)習(xí)方法實現(xiàn)多模態(tài)時序脈沖數(shù)據(jù)的學(xué)習(xí)方法。成果近期發(fā)表在《自然—計算科學(xué)》期刊上（Nature Computational Science, DOI: 10.1038/s43588-024-00751-z ），并受邀撰寫了研究快訊（Nature Computational Science, DOI: 10.1038/s43588-024-00762-w）。南方科技大學(xué)王中銳博士和中科院微電子所尚大山研究員為該文章的通訊作者。參與本工作的還有復(fù)旦大學(xué)、浙江大學(xué)、香港大學(xué)以及中科院計算所等合作單位。

人工智能的發(fā)展深受模仿人類大腦的啟發(fā)，尤其是在當前的類腦神經(jīng)形態(tài)系統(tǒng)中。例如，利用生物可解釋的脈沖神經(jīng)網(wǎng)絡(luò)（SNN），并結(jié)合IBM的TrueNorth和英特爾的Loihi等CMOS數(shù)字硬件加速器，來模擬大腦的計算功能和效率。然而，在硬件中復(fù)現(xiàn)大腦功能仍然面臨巨大的挑戰(zhàn)，這不僅受到摩爾定律放緩以及馮·諾依曼架構(gòu)計算瓶頸的限制，而且涉及脈沖神經(jīng)網(wǎng)絡(luò)自身訓(xùn)練過程中的困難。液體狀態(tài)機是一種脈沖形式的儲池計算，它是循環(huán)脈沖神經(jīng)網(wǎng)絡(luò)的一種簡化形式，能夠?qū)r序輸入信號通過神經(jīng)元的非線性激活函數(shù)轉(zhuǎn)換到高維空間中，并通過簡單的線性回歸方法有效地讀出。液體狀態(tài)機中循環(huán)連接層的權(quán)重始終保持固定，訓(xùn)練僅需要調(diào)節(jié)投影層權(quán)重，使得多模態(tài)事件信號的對齊復(fù)雜度和時間大大降低。

在硬件方面，團隊利用憶阻器的本征隨機性構(gòu)建大規(guī)模隨機電阻陣列，并將其作為液體狀態(tài)機網(wǎng)絡(luò)的初始化權(quán)重，展現(xiàn)了低成本和可擴展的優(yōu)勢。在軟件方面，液體狀態(tài)機巧妙的利用了隨機電阻陣列所帶來的物理隨機投影，通過存內(nèi)計算的方式完成多時序脈沖輸入的特征提取過程，并顯著降低了脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成本。團隊通過軟-硬協(xié)同優(yōu)化技術(shù)，在基于FPGA的板級測試平臺上實現(xiàn)了視覺和聲音的多模態(tài)對齊檢索，并進行了接近實用場景的腦機接口的視覺和聲音對齊任務(wù)的仿真驗證（見圖一）。與傳統(tǒng)數(shù)字硬件系統(tǒng)相比，該方法在計算能效上實現(xiàn)了顯著提升。該研究工作展現(xiàn)了憶阻器存算一體陣列在構(gòu)建神經(jīng)形態(tài)系統(tǒng)方面的巨大潛力，并為利用自然界中豐富的物理、化學(xué)特性開發(fā)更高效的智能硬件系統(tǒng)提供了參考。該項目得到了科技部、國家自然科學(xué)基金委、南方科技大學(xué)、中科院和香港大學(xué)的支持。

圖1 基于隨機電阻陣列的液體狀態(tài)機神經(jīng)網(wǎng)絡(luò)實現(xiàn)視覺和腦電信號的多模態(tài)零樣本學(xué)習(xí)