中文摘要：

人類情緒是反映個(gè)體當(dāng)前生理和心理狀態(tài)的復(fù)雜心理現(xiàn)象。情緒對(duì)人類的行為、認(rèn)知、交流和決策產(chǎn)生了顯著的影響。然而，目前的情緒識(shí)別方法在實(shí)際應(yīng)用中往往存在性能不佳和可擴(kuò)展性有限的問(wèn)題。為此，我們提出一種新穎的腦電圖（EEG）情緒識(shí)別框架VG-DOCoT，它基于深度過(guò)參數(shù)化卷積（DO-Conv）、變換器和變分自編碼器-生成對(duì)抗網(wǎng)絡(luò)（VAE-GAN）結(jié)構(gòu)。具體來(lái)說(shuō)，在預(yù)處理中，可以從EEG信號(hào)中提取微分熵（DE），以映射到時(shí)間、空間和頻率信息中。為了增強(qiáng)訓(xùn)練數(shù)據(jù)，采用VAE-GAN進(jìn)行數(shù)據(jù)增強(qiáng)。使用一種新穎的卷積模塊DO-Conv替代傳統(tǒng)的卷積層，以提高網(wǎng)絡(luò)性能。在網(wǎng)絡(luò)框架中引入了變換器結(jié)構(gòu)，以揭示EEG信號(hào)中的全局依賴性。使用所提出的模型，在DEAP數(shù)據(jù)集上進(jìn)行了二分類任務(wù)仿真，喚醒度和效價(jià)度的準(zhǔn)確率分別達(dá)到92.52%和92.27%。另外，在SEED數(shù)據(jù)集上進(jìn)行了三分類任務(wù)測(cè)試，包括中性、積極和消極三種情緒，獲得的平均預(yù)測(cè)準(zhǔn)確率為93.77%。所提出的方法顯著提高了腦電情緒識(shí)別的準(zhǔn)確率。

關(guān)鍵詞：

情緒識(shí)別；腦電（EEG）；深度過(guò)參數(shù)化卷積（DO-Conv）；變換器；變分自編碼器-生成對(duì)抗網(wǎng)絡(luò)（VAE-GAN）

作者：

朱艷萍，黃磊，陳繼鑫，王身云，萬(wàn)發(fā)雨，陳家楠

單位：

南京信息工程大學(xué)電子與信息工程學(xué)院，中國(guó)南京市，210044

本文引用格式：

Yanping ZHU, Lei HUANG, Jixin CHEN, Shenyun WANG, Fayu WAN, Jianan CHEN, 2024. VG-DOCoT: a novel DO-Conv and transformer framework via VAE-GAN technique for EEG emotion recognition. Frontiers of Information Technology & Electronic Engineering, 25(11):1497-1514.

https://doi.org/10.1631/FITEE.2300781

本文精要導(dǎo)讀：