近日，南方科技大學(xué)、中科院微電子所與香港大學(xué)等單位組成的研究團(tuán)隊(duì)，在基于憶阻器的類(lèi)腦神經(jīng)網(wǎng)絡(luò)優(yōu)化方面取得重要突破。第一作者為南方科技大學(xué)訪問(wèn)研究人員、香港大學(xué)在讀博士生王勃。南方科技大學(xué)王中銳教授為第一通信作者、中科院微電子所尚大山研究員、香港大學(xué)齊曉娟教授為論文的通訊作者。相關(guān)成果以“Topology Optimization of Random Memristors for Input-Aware Dynamic SNN”為題，發(fā)表在國(guó)際著名期刊 Science Advances 上（DOI: https://doi.org/10.1126/sciadv.ads5340）。

本研究提出了一種面向神經(jīng)形態(tài)硬件的全新算法-架構(gòu)協(xié)同優(yōu)化框架 PRIME，利用憶阻器編程過(guò)程中的本征隨機(jī)性，構(gòu)建了具備“輸入感知”和“動(dòng)態(tài)結(jié)構(gòu)”的脈沖神經(jīng)網(wǎng)絡(luò)（SNN）。該系統(tǒng)不僅顯著降低了傳統(tǒng)權(quán)重精調(diào)帶來(lái)的能耗與時(shí)間成本，更在硬件系統(tǒng)中驗(yàn)證了在事件分類(lèi)和圖像修復(fù)任務(wù)中的可用性與能效優(yōu)勢(shì)，為未來(lái)的邊緣智能和類(lèi)腦芯片設(shè)計(jì)提供了參考。

圖1展示了PRIME系統(tǒng)在多個(gè)關(guān)鍵維度上對(duì)類(lèi)腦計(jì)算機(jī)制的模擬：包括利用脈沖信號(hào)表示、通過(guò)“結(jié)構(gòu)可塑性”進(jìn)行網(wǎng)絡(luò)拓?fù)鋬?yōu)化、實(shí)現(xiàn)輸入感知的計(jì)算深度動(dòng)態(tài)調(diào)整，以及基于憶阻器陣列的存算一體硬件架構(gòu)。

圖1 多維度類(lèi)腦計(jì)算機(jī)制模擬

圖2展示了PRIME的完整流程圖。PRIME通過(guò)借鑒大腦結(jié)構(gòu)可塑性這一理念，通過(guò)剪枝的方法巧妙地將憶阻器隨機(jī)性轉(zhuǎn)化為計(jì)算優(yōu)勢(shì)，擺脫了對(duì)精細(xì)調(diào)整權(quán)重的依賴(lài)。另一方面，引入輸入感知的動(dòng)態(tài)調(diào)整概念，進(jìn)一步降低了計(jì)算能耗和計(jì)算延遲。

圖2 基于憶阻器陣列的脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和推理過(guò)程的軟硬件協(xié)同

圖3和圖4則在任務(wù)層面驗(yàn)證了該系統(tǒng)的實(shí)際性能。在N-MNIST神經(jīng)形態(tài)數(shù)據(jù)集分類(lèi)任務(wù)中，PRIME在保持準(zhǔn)確率的前提下，實(shí)現(xiàn)了大幅度的能效提升和計(jì)算量削減；在圖像修復(fù)任務(wù)中，PRIME生成的圖像在視覺(jué)質(zhì)量指標(biāo)（如Inception Score）上與基準(zhǔn)模型持平，同時(shí)大幅降低了能耗。這一系列實(shí)驗(yàn)驗(yàn)證了PRIME在精度、能效與延遲方面的協(xié)同優(yōu)勢(shì)，彰顯了其在神經(jīng)形態(tài)計(jì)算領(lǐng)域的潛力。

圖3 采用PRIME在神經(jīng)形態(tài)數(shù)據(jù)集上進(jìn)行識(shí)別分類(lèi)

圖4 采用PRIME進(jìn)行圖像修復(fù)實(shí)驗(yàn)

本項(xiàng)研究得到了科技部重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金、香港創(chuàng)新科技基金（ACCESS）、中科院戰(zhàn)略重點(diǎn)項(xiàng)目等多項(xiàng)基金的聯(lián)合資助。