北京大學(xué)集成電路學(xué)院孫廣宇團(tuán)隊在面向邊緣側(cè)大語言模型(LLM)推理加速的DRAM近存計算架構(gòu)方向取得重要突破。該團(tuán)隊基于混合鍵合工藝，研發(fā)了H2-LLM架構(gòu)，有效解決了傳統(tǒng)DRAM近存計算架構(gòu)在邊緣設(shè)備上算力受限的問題。H2-LLM提出了通用近存計算架構(gòu)模板和"以數(shù)據(jù)為中心"的數(shù)據(jù)流抽象，并開發(fā)了設(shè)計空間探索框架，相比基線架構(gòu)實現(xiàn)了2.72倍性能提升和1.48倍能效提升。

LLM已成為人工智能領(lǐng)域最具影響力的技術(shù)突破之一。憑借強(qiáng)大的語言理解與生成能力，LLM在問題推理、聊天助手、代碼補(bǔ)全等多種任務(wù)中展現(xiàn)了出色性能。隨著大語言模型的廣泛應(yīng)用，如何在邊緣設(shè)備上實現(xiàn)高效的大語言模型推理，在滿足用戶的個性化定制、數(shù)據(jù)隱私等需求的同時，提供流暢的用戶體驗，已成為大語言模型落地部署中亟待解決的重要問題。

這項研究是北京大學(xué)與上海交通大學(xué)、東南大學(xué)、后摩智能及阿里巴巴達(dá)摩院共同完成的產(chǎn)學(xué)研合作成果，發(fā)表在第52屆計算機(jī)體系結(jié)構(gòu)國際研討會(ISCA)上，并獲得最佳論文獎，這是國內(nèi)學(xué)術(shù)機(jī)構(gòu)首次在ISCA獲此殊榮。

孫廣宇團(tuán)隊長期專注于領(lǐng)域定制芯片架構(gòu)設(shè)計與自動化研究，已在體系結(jié)構(gòu)四大會發(fā)表28篇論文，并獲得多項最佳論文獎。該團(tuán)隊的研究成果已應(yīng)用于多款芯片設(shè)計，并在國內(nèi)知名企業(yè)得到驗證，為解決國家在人工智能芯片領(lǐng)域的"卡脖子"問題做出了貢獻(xiàn)。