近日，中山大學(xué)電子與信息工程學(xué)院（微電子學(xué)院）謝曦教授團隊設(shè)計研發(fā)了一種基于深度學(xué)習(xí)架構(gòu)增強的抗噪聲學(xué)傳感系統(tǒng)，實現(xiàn)了在極端噪聲環(huán)境中的復(fù)雜人機協(xié)同交互，相關(guān)研究成果發(fā)表在Nature Communications，論文題目為：“Deep learning-enhanced anti-noise triboelectric acoustic sensor for human machine collaboration in noisy environments”，博士生姚傳捷為第一作者，謝曦教授為通訊作者。

隨著人工智能和物聯(lián)網(wǎng)技術(shù)的快速發(fā)展和融合，人機協(xié)同作業(yè)在健康監(jiān)測、災(zāi)難后救援、智能控制等多個領(lǐng)域展現(xiàn)出巨大潛力。人機交互的方式也從最初的鍵盤、遙控器等外部設(shè)備操控，發(fā)展為更加直接和高效的肢體動作、電生理學(xué)和語音信號等方式實現(xiàn)交互。語音識別技術(shù)與智能設(shè)備的不斷發(fā)展進步，促使基于傳統(tǒng)語音信號的人機交互方式得到了廣泛的應(yīng)用，并且實現(xiàn)了大范圍的商業(yè)化。然而，現(xiàn)階段常規(guī)的聲學(xué)傳感器主要針對常見的生活場景進行設(shè)計和生產(chǎn)，當(dāng)面對一些復(fù)雜的極端噪聲環(huán)境時（例如，嘈雜的人群、火災(zāi)和暴雨等環(huán)境），往往會受到嚴(yán)重的干擾和影響，難以獲得完整信息的語音信號實現(xiàn)準(zhǔn)確的人機語音交互。這種特征缺失或波形畸變的聲學(xué)模態(tài)信號，對傳統(tǒng)的語音處理技術(shù)與人機語音交互系統(tǒng)提出了相當(dāng)大的挑戰(zhàn)，嚴(yán)重限制了其在復(fù)雜場景中的應(yīng)用。

深度學(xué)習(xí)架構(gòu)增強的抗噪聲學(xué)傳感系統(tǒng)示意圖

針對現(xiàn)階段常規(guī)人機語音交互在極端噪聲環(huán)境中的不足，謝曦教授團隊設(shè)計開發(fā)了一種基于深度學(xué)習(xí)架構(gòu)增強的柔性抗噪聲學(xué)傳感集成系統(tǒng)，以實現(xiàn)在極端嘈雜環(huán)境中的復(fù)雜人機協(xié)同交互。柔性抗噪聲學(xué)傳感器（Anti-noise TEAS）通過結(jié)構(gòu)優(yōu)化與緩沖設(shè)計，能夠以接觸式傳感的方式，從喉部混合模態(tài)振動中捕獲人聲基頻信號，同時有效抑制極端環(huán)境噪聲的干擾，顯著提升了在復(fù)雜噪聲場景下的語音信號識別能力。在此基礎(chǔ)上，團隊進一步將Anti-noise TEAS與基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型（CNN-based DLM）相結(jié)合，構(gòu)建了集成化的Anti-noise TEAS-DLM人機協(xié)同系統(tǒng)。該系統(tǒng)不僅實現(xiàn)了對語音信號的高保真解釋，還能在極端噪聲干擾的虛擬場景和真實場景中，以近乎完美的噪聲免疫性能，精準(zhǔn)地識別和傳輸各種語音指令（識別準(zhǔn)確率大于99%）。相較于傳統(tǒng)的人機語音交互系統(tǒng)，Anti-noise TEAS-DLM具有更為優(yōu)異的人機協(xié)同效率，可以在不同的場地、不同的噪聲環(huán)境中，高效地引導(dǎo)機器群體系統(tǒng)執(zhí)行復(fù)雜的災(zāi)難后救援任務(wù)（成功率達100%）。

謝曦教授團隊開發(fā)的基于深度學(xué)習(xí)架構(gòu)增強的柔性抗噪聲學(xué)傳感集成系統(tǒng)，為復(fù)雜環(huán)境下的高效人機協(xié)作提供了一種切實可行的方案。該系統(tǒng)憑借其卓越的抗噪聲性能、高靈敏度和穩(wěn)定性，以及深度學(xué)習(xí)智能化架構(gòu)的強大語音識別能力，有望在災(zāi)難救援、野外探索、工業(yè)生產(chǎn)等多個領(lǐng)域得到廣泛應(yīng)用，推動人機交互技術(shù)向更加智能化、高效化的方向發(fā)展。