近日，南方科技大學(xué)微電子學(xué)院周菲遲團(tuán)隊(duì)在超自適應(yīng)神經(jīng)形態(tài)視覺器件及通用智能視覺系統(tǒng)研究中取得重要進(jìn)展。該研究通過(guò)精準(zhǔn)調(diào)控電子、氧離子與空位的界面/體相動(dòng)力學(xué)，首次提出一種超自適應(yīng)類腦視覺器件（UANV, Ultra-Adaptive Neuromorphic Vision Device），在單一器件內(nèi)集成類視網(wǎng)膜與類視皮層的四種高階動(dòng)態(tài)特性，并構(gòu)建超高靈活度的首個(gè)全同質(zhì)人工通用視覺智能（Artificial General Vision Intelligence, AGVI）系統(tǒng)原型，為構(gòu)建高效、自適應(yīng)的AGVI系統(tǒng)提供了全新解決方案。相關(guān)研究成果“High-Order Dynamics in An Ultra-Adaptive Neuromorphic Vision Device”發(fā)表于Nature Nanotechnology。

自然界中視覺事件具有多動(dòng)態(tài)性和不可預(yù)測(cè)性，這對(duì)傳統(tǒng)機(jī)器視覺系統(tǒng)提出了巨大挑戰(zhàn)。人工通用視覺智能AGVI作為一種新興范式，致力于在統(tǒng)一硬件系統(tǒng)中復(fù)現(xiàn)生物視覺系統(tǒng)的全頻譜動(dòng)態(tài)特性以實(shí)現(xiàn)卓越的能效和適應(yīng)性，強(qiáng)調(diào)同時(shí)仿生視網(wǎng)膜與皮層神經(jīng)元的多模態(tài)信號(hào)——既包含“全或無(wú)”的脈沖動(dòng)作電位，也包含與刺激成比例的漸變電位，且應(yīng)能在光學(xué)與電學(xué)兩個(gè)維度下工作。而當(dāng)前最先進(jìn)的AGVI實(shí)現(xiàn)方案依賴于CMOS電路或多個(gè)新興神經(jīng)形態(tài)元件的異質(zhì)集成，但這導(dǎo)致系統(tǒng)體積龐大且適應(yīng)性和能效受限。尤其關(guān)鍵的是，尚無(wú)單一電子器件可在同體內(nèi)同時(shí)整合“類視網(wǎng)膜＋類視皮層”的脈沖與漸變動(dòng)態(tài)，并跨光/電雙域可控，仍需依賴多器件集成，這成為邁向高效 AGVI 的核心瓶頸。

針對(duì)上述挑戰(zhàn)，研究團(tuán)隊(duì)在單一UANV器件中同時(shí)實(shí)現(xiàn)了類視網(wǎng)膜光脈沖神經(jīng)元（Retinal Spiking Neuron, RSN）、類視網(wǎng)膜光分級(jí)神經(jīng)元（Retinal Graded Neuron, RGN）、類皮層突觸（Cortical Synapse, CS）和類皮層神經(jīng)元（Cortical Neuron, CN）等四種高階動(dòng)力學(xué)行為（圖1），并展現(xiàn)超低功耗。這種豐富且可調(diào)控的高階動(dòng)力學(xué)特性源于獨(dú)特的能帶結(jié)構(gòu)，以及在光/電刺激下體相或界面處電荷載流子（電子、氧離子和空位）的協(xié)同調(diào)控。該UANV單器件高度集成了傳統(tǒng)CMOS實(shí)現(xiàn)方案中需60余個(gè)分立器件才能完成的全部功能，尤其在圖像尺寸增大時(shí)顯著減少所需器件數(shù)量，將傳統(tǒng)的異質(zhì)系統(tǒng)轉(zhuǎn)變?yōu)橥耆|(zhì)化的緊湊系統(tǒng)，顯著降低功耗及提升面積效率。同時(shí)團(tuán)隊(duì)通過(guò)采用先進(jìn)的原位掃描透射電子顯微鏡（STEM）表征技術(shù)與計(jì)算機(jī)輔助設(shè)計(jì)（TCAD）仿真方法，首次深入揭示了UANV器件的高階動(dòng)力學(xué)特性及其工作機(jī)制，為感存算一體化神經(jīng)形態(tài)視覺器件設(shè)計(jì)提供了理論指導(dǎo)。

在0 V 偏置下，器件展現(xiàn)無(wú)偏置、無(wú)外部電容、紫外-紅外寬譜的 LIF（泄漏積分發(fā)放）光脈沖神經(jīng)元行為，可將連續(xù)光直接編碼為電流尖峰，展現(xiàn)出基于光強(qiáng)和照射時(shí)間的閾值脈沖發(fā)放特性（圖2）。相比傳統(tǒng)方案或當(dāng)前多新興器件集成方案，這一模式展現(xiàn)出了優(yōu)異的集成度、寬光譜響應(yīng)及低至0 J的電學(xué)功耗，也是首次在單個(gè)器件中實(shí)現(xiàn)光脈沖神經(jīng)元行為。機(jī)理上，由于IxTyO1-x-y/CuO? 界面獨(dú)特的“倒三角勢(shì)阱＋界面陷阱”設(shè)計(jì)，光生電子一部分形成基線電流，另一部分注入陷阱并經(jīng) Fowler–Nordheim 隧穿觸發(fā)尖峰。此外團(tuán)隊(duì)采用Sentaurus技術(shù)計(jì)算機(jī)輔助設(shè)計(jì)（TCAD）仿真平臺(tái)，基于器件工作機(jī)制，對(duì)光致LIF行為過(guò)程進(jìn)行了完整建模，仿真結(jié)果與實(shí)驗(yàn)結(jié)果高度吻合。

在?0.04–?0.1 V 偏置下，器件切換至類視網(wǎng)膜光分級(jí)神經(jīng)元特性，對(duì)光脈沖個(gè)數(shù)/強(qiáng)度/波長(zhǎng)呈非線性短期時(shí)間動(dòng)力學(xué)（圖3）。機(jī)理源于CuOx層中電子的俘獲/去俘獲過(guò)程。團(tuán)隊(duì)通過(guò)光電原位掃描透射電子顯微鏡（light-incorporated in situ STEM）技術(shù)進(jìn)一步證明了這一機(jī)制，時(shí)間分辨電子能量損失譜（EELS-STEM） 顯示光照后氧元素空間分布幾乎不變，而 Cu-L? 邊發(fā)生約 0.22 eV 左移，光關(guān)斷后緩慢回移，證明了器件內(nèi)部的光致電子俘獲/去俘獲過(guò)程。

在0.1–0.5 V 小電壓下，器件切換至類皮層突觸模式，呈現(xiàn)出模擬型、非易失性的電阻開關(guān)特性，以及長(zhǎng)期增強(qiáng)/抑制行為（圖4）。該動(dòng)力學(xué)行為下的響應(yīng)速度快至60 ns，阻態(tài)保持可長(zhǎng)達(dá)10年。原位 EELS–STEM 表明小正脈沖（如 0.1 V）主要誘發(fā)靠近 IxTyO1-x-y一側(cè)的O2?遷移，頂層區(qū)域 O K-edge 預(yù)峰減弱、Cu-L? 輕微左移，表現(xiàn)為氧化態(tài)降低；施加負(fù)脈沖后上述譜學(xué)特征可逆恢復(fù)。機(jī)理上，小電壓僅在CuOx層中靠近IxTyO1-x-y/CuOx界面處觸發(fā)O2?外遷并在 CuO? 中形成 VO??，產(chǎn)生“凈摻雜效應(yīng)”降低界面勢(shì)壘，從而在 LRS/HRS 間可逆調(diào)制。

在1.3–2 V 偏置下，器件切換至類皮層神經(jīng)元?jiǎng)恿W(xué)模式，展現(xiàn)出連續(xù)電脈沖驅(qū)動(dòng)的泄漏積分發(fā)放（LIF）行為（圖5）。CN動(dòng)力學(xué)特性源于雙重機(jī)制協(xié)同作用，包括可移動(dòng)O2?離子在CuOx層遷移導(dǎo)致的勢(shì)壘高度調(diào)制，以及電子俘獲動(dòng)力學(xué)過(guò)程。團(tuán)隊(duì)進(jìn)一步通過(guò)EELS-STEM實(shí)驗(yàn)直接證明了大電壓下CuOx層電子捕獲/去捕獲與氧離子遷移協(xié)同調(diào)控機(jī)制。

基于該器件各工作模式下的高度集成動(dòng)力學(xué)特性和超低功耗特性，團(tuán)隊(duì)進(jìn)一步構(gòu)建了基于全同質(zhì)UANV器件陣列的“超自適應(yīng)性”的硬件系統(tǒng)與原型平臺(tái)（圖6）。該系統(tǒng)可根據(jù)不同場(chǎng)景需求，靈活動(dòng)態(tài)分配UANV陣列中動(dòng)力學(xué)模式，在統(tǒng)一硬件平臺(tái)上實(shí)現(xiàn)多場(chǎng)景自適應(yīng)處理，同時(shí)支持異步事件驅(qū)動(dòng)和同步幀驅(qū)動(dòng)等多種工作范式，能夠自適應(yīng)滿足動(dòng)態(tài)場(chǎng)景與靜態(tài)圖像處理等多樣化認(rèn)知成像需求。在實(shí)現(xiàn)多功能處理的同時(shí)，能效比高達(dá)67.89 TOPS/W，面積效率達(dá)到3.96 MOPS/F。通過(guò)將這種具備多模態(tài)高階動(dòng)態(tài)特性的器件集成到高度緊湊高效的AGVI系統(tǒng)中，這一工作為機(jī)器視覺開辟了媲美生物視覺的無(wú)限可能。

本研究由南方科技大學(xué)聯(lián)合香港理工大學(xué)蔡嵩驊教授團(tuán)隊(duì)、北京犀靈視覺科技有限公司等單位共同完成，南方科技大學(xué)為論文第一單位和通訊單位。南方科技大學(xué)周菲遲課題組研究生徐嘉逸、江碧怡為第一作者。該研究獲國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金、合肥科微電子有限公司及香港研資局的支持。