近日，清華大學(xué)集成電路學(xué)院任天令教授團(tuán)隊(duì)在國(guó)際著名期刊《自然·通訊》（Nature Communications）上發(fā)表了題為“基于存內(nèi)注意力啟發(fā)器件的適應(yīng)性時(shí)空信息處理”（Adaptive spatial-temporal information processing based on in-memory attention-inspired devices）研究論文，闡釋了研究團(tuán)隊(duì)在新型存內(nèi)計(jì)算系統(tǒng)領(lǐng)域取得的最新突破。

時(shí)間和空間信息的混合感知廣泛存在于動(dòng)態(tài)信息處理場(chǎng)景，但通過傳統(tǒng)計(jì)算范式實(shí)現(xiàn)時(shí)間-空間信息感知需要消耗較大的硬件資源。與傳統(tǒng)硬件設(shè)備相比，人類大腦能夠以極低的成本從環(huán)境中獲取時(shí)間和空間維度的信息。人腦利用注意力機(jī)制從海量數(shù)據(jù)中篩選出必要的信息，并根據(jù)不同情境動(dòng)態(tài)調(diào)整，以確保在不斷變化的環(huán)境中持續(xù)有效地提取信息。在人類大腦中，額頂注意力網(wǎng)絡(luò)會(huì)根據(jù)當(dāng)前情境調(diào)整注意力，并引導(dǎo)感覺皮層增強(qiáng)對(duì)特定類型信息的響應(yīng)。注意力機(jī)制實(shí)現(xiàn)了完整的時(shí)間-空間信息感知和信息增強(qiáng)。

受到人腦注意力機(jī)制啟發(fā)，研究團(tuán)隊(duì)研制了一種基于異維調(diào)控界面的原位時(shí)空信息處理器件（圖1），在存儲(chǔ)器內(nèi)執(zhí)行時(shí)間和空間信息保存和計(jì)算任務(wù)，實(shí)現(xiàn)了高能效的時(shí)間-空間信息感知。研究團(tuán)隊(duì)和車輛與運(yùn)載學(xué)院楊殿閣教授團(tuán)隊(duì)合作，成果在自動(dòng)駕駛邊緣場(chǎng)景進(jìn)行了驗(yàn)證和應(yīng)用。

圖1. 注意力啟發(fā)器件結(jié)構(gòu)；適應(yīng)性時(shí)空信息處理流程；利用注意力數(shù)值，動(dòng)態(tài)調(diào)整時(shí)間和空間信息的響應(yīng)強(qiáng)度

注意力啟發(fā)器件利用MoS?溝道與Ag導(dǎo)電絲形成零維（0D）?二維（2D）混合維度調(diào)控界面。MoS?溝道與Ag導(dǎo)電絲的接觸展現(xiàn)出非易失性狀態(tài)轉(zhuǎn)移特性，用于存儲(chǔ)過去時(shí)刻的信息。通過0D-2D異維界面的電學(xué)作用，可在當(dāng)前時(shí)刻信息與存儲(chǔ)信息之間實(shí)現(xiàn)可調(diào)權(quán)重的模擬計(jì)算?；谶@一特性，建立適應(yīng)性時(shí)空信息處理基本單元，實(shí)現(xiàn)了可重構(gòu)的注意力分配計(jì)算和決策計(jì)算功能，如圖2所示。

圖2. 注意力啟發(fā)器件在各計(jì)算模式下的特性曲線

為了驗(yàn)證這一信息處理范式的規(guī)?；圃鞚摿?，研究團(tuán)隊(duì)制造了5×5單元的注意力啟發(fā)器件陣列，并實(shí)驗(yàn)測(cè)試了陣列的適應(yīng)性時(shí)空信息處理功能，如圖3所示。圖中A點(diǎn)為運(yùn)動(dòng)物體，B點(diǎn)為靜止物體；圖中展示的時(shí)間信息包括運(yùn)動(dòng)方向等，空間信息包括物體坐標(biāo)等。t1?t3為連續(xù)的3個(gè)時(shí)刻。注意力的數(shù)值由器件的控制柵電壓決定，通過調(diào)節(jié)注意力的數(shù)值，改變輸出信號(hào)中時(shí)間和空間信息的響應(yīng)強(qiáng)度。

圖3. 注意力啟發(fā)器件在各計(jì)算模式下的特性曲線

所提出的信息處理范式可用于需要低功耗、實(shí)時(shí)處理的邊緣智能場(chǎng)景。研究團(tuán)隊(duì)仿真驗(yàn)證了所提出的信息處理范式在自動(dòng)駕駛場(chǎng)景中的應(yīng)用可行性。如圖4所示，基于注意力啟發(fā)器件陣列的路側(cè)設(shè)備和車端設(shè)備在面對(duì)不斷變化的環(huán)境時(shí)，能夠?qū)崿F(xiàn)全范圍（0?100%）注意力分配，并能夠根據(jù)當(dāng)前的情境實(shí)時(shí)優(yōu)化注意力分配，動(dòng)態(tài)調(diào)整時(shí)間和空間信息的響應(yīng)強(qiáng)度。

圖4. 適應(yīng)性時(shí)空信息處理應(yīng)用于邊緣智能設(shè)備

綜上所述，基于注意力啟發(fā)器件的信息處理范式解決了時(shí)間-空間信息的完整感知和高能效信息提取的矛盾問題，有望應(yīng)用于復(fù)雜多變環(huán)境的動(dòng)態(tài)信息處理，并為未來邊緣計(jì)算架構(gòu)提供了一種可行的硬件解決方案。

清華大學(xué)集成電路學(xué)院2023級(jí)博士生潘炯、清華大學(xué)集成電路學(xué)院博士后（現(xiàn)復(fù)旦大學(xué)光電研究院助理教授）吳凡以及清華大學(xué)車輛與運(yùn)載學(xué)院2023級(jí)碩士生錢康安為本文共同第一作者，清華大學(xué)集成電路學(xué)院任天令教授、楊軼副教授、田禾副教授以及清華大學(xué)車輛與運(yùn)載學(xué)院楊殿閣教授為本文通訊作者。該研究得到科技部、國(guó)家自然科學(xué)基金委、北京市自然科學(xué)基金委、清華大學(xué)國(guó)強(qiáng)研究院等的支持。