近日，信通學(xué)院2021級本科生鄧皓宇在機(jī)器學(xué)習(xí)領(lǐng)域頂級會議International Conference on Machine Learning（ICML）發(fā)表題為“Exploring the Low-Pass Filtering Behavior in Image Super-Resolution”的圖像超分辨率可解釋性工作。電子科技大學(xué)均為第一署名和通信單位。ICML是機(jī)器學(xué)習(xí)三大國際著名會議之一，至今已舉辦41屆，在推動機(jī)器學(xué)習(xí)發(fā)展過程中具有舉足輕重的影響力。今年的ICML會議于7月21日-26日在奧地利維也納舉辦，鄧皓宇代表課題組參會并進(jìn)行論文展示。

圖像超分辨率是一種提高圖像分辨率的技術(shù)，被廣泛應(yīng)用于各個領(lǐng)域。進(jìn)行圖像超分辨率的算法有許多種，例如插值法，字典學(xué)習(xí)法，深度學(xué)習(xí)等。得益于深度學(xué)習(xí)技術(shù)的發(fā)展，圖像超分辨率技術(shù)也取得了顯著進(jìn)步。但是由于深度學(xué)習(xí)缺乏可解釋性，圖像超分任務(wù)所采用模型背后的機(jī)理尚未探明。

圖1. 圖像超分示意圖

受到數(shù)字信號處理中上采樣器的原理啟發(fā)，該文章對網(wǎng)絡(luò)進(jìn)行了沖激響應(yīng)測試，發(fā)現(xiàn)用于圖像超分任務(wù)的網(wǎng)絡(luò)的沖激響應(yīng)實際上是一個低通濾波器。圖像超分辨任務(wù)本質(zhì)上是一種信號上采樣任務(wù)，在傳統(tǒng)信號處理領(lǐng)域中，上采樣已經(jīng)是非常成熟的操作。一個上采樣器的工作流程可以這樣描述：先把采樣過后的離散時間信號恢復(fù)成連續(xù)信號（函數(shù)），再用更高的采樣率進(jìn)行采樣。而要將離散時間信號恢復(fù)成連續(xù)信號，只需要對其進(jìn)行一個低通濾波。若對δ函數(shù)進(jìn)行上采樣，那最終得到的就是應(yīng)該sinc函數(shù)?；谶@樣的想法，作者猜想神經(jīng)網(wǎng)絡(luò)內(nèi)部也存在這樣一個低通濾波器。該文章發(fā)現(xiàn)，若對圖像超分辨網(wǎng)絡(luò)輸入一個只有一個像素為白色的圖像，那么輸出的圖像花紋與sinc函數(shù)非常類似，即神經(jīng)網(wǎng)絡(luò)的沖激響應(yīng)是一個sinc函數(shù)，如圖2。

圖2. 神經(jīng)網(wǎng)絡(luò)的沖激響應(yīng)與sinc函數(shù)對比

圖3. 左：HyRA的線性系統(tǒng)和非線性系統(tǒng)的響應(yīng)及其頻譜。右：FSDS指標(biāo)與主流SSIM指標(biāo)的對比，SSIM指標(biāo)不能很好地反應(yīng)高頻失真

為了驗證這一發(fā)現(xiàn)，文章提出了一種名為“混合響應(yīng)分析（HyRA）”的方法。HyRA將一個網(wǎng)絡(luò)視作一個線性系統(tǒng)和非線性系統(tǒng)的并行連接（圖3左）。為了使這樣的拆分有意義，文章提出該非線性系統(tǒng)的沖激響應(yīng)應(yīng)該為0，并證明了這樣的約束不影響分析。使用HyRA分析，文章發(fā)現(xiàn)線性系統(tǒng)的職責(zé)是濾除部分0插值引起的周期延拓以實現(xiàn)一定程度的超分，但是由于濾波器的性能較差，不能較完美地實現(xiàn)超分。非線性部分在修正線性系統(tǒng)帶來的失真的同時，同時注入學(xué)習(xí)到的高頻信息。

此外，為了量化地評價網(wǎng)絡(luò)注入高頻的能力，文章還提出了一種名為“頻譜分布相似性（FSDS）”的圖像質(zhì)量評價指標(biāo)（FSDS）用于定量分析網(wǎng)絡(luò)注入的高頻信息。FSDS指標(biāo)描述了圖像的頻譜上的功率分布的相似性。實驗證明，相較于現(xiàn)有的主流指標(biāo)（如PSNR、SSIM等），F(xiàn)SDS指標(biāo)能夠更有效地反應(yīng)出不同程度的頻譜失真，詳見圖3右。

圖4. 鄧皓宇在奧地利維也納的ICML會議上與國際同行進(jìn)行交流

鄧皓宇在2021年通過校級教改項目“一年級新生課外實踐項目—卷積神經(jīng)網(wǎng)絡(luò)原理及其在視覺問題上的應(yīng)用”，進(jìn)入數(shù)學(xué)學(xué)院教師的科研團(tuán)隊參與科研訓(xùn)練。大二時入選信通學(xué)院“科研育人”新工程教育專項“卓越成長計劃”。說起自己的經(jīng)歷，他表示，學(xué)校新工科建設(shè)和學(xué)院“科研育人”專項給他帶來了莫大的幫助，在科研和競賽方面對他都很有啟發(fā)。截至目前，鄧皓宇已參與發(fā)表高水平論文6篇，其中以第一作者發(fā)表論文3篇，包括ICML（CCF-A類）、Knowledge-Based Systems（中國科學(xué)院大類一區(qū)）、ICLR tiny，還獲得國家級競賽獎項3項。

據(jù)悉，“卓越成長計劃”是信通學(xué)院貫徹落實教育部關(guān)于“堅持科教融合、加強(qiáng)科研育人”的精神，進(jìn)一步加強(qiáng)科研育人，推進(jìn)高水平科研支撐高質(zhì)量本科人才培養(yǎng)的重要舉措，以“喚起好奇、探究知識、激發(fā)潛能、個性發(fā)展”為出發(fā)點(diǎn)，構(gòu)建起“案例化核心課程”與“通關(guān)式科研項目”相融合的精英人才培養(yǎng)體系，達(dá)到讓學(xué)生“想學(xué)好”“能學(xué)好”的目的。