大模型憑借其在多領(lǐng)域應(yīng)用中的卓越性能，已在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域獲得廣泛關(guān)注。然而，此類(lèi)模型的訓(xùn)練面臨圖形處理器（GPU）顯存容量的顯著制約。國(guó)防科大唐宇、李東升等發(fā)表有關(guān)有限GPU顯存下的大語(yǔ)言模型訓(xùn)練技術(shù)的論文，系統(tǒng)梳理了有限GPU顯存條件下大模型訓(xùn)練的優(yōu)化技術(shù)體系。首先深入解析訓(xùn)練過(guò)程中GPU顯存占用的三大核心要素——模型參數(shù)、模型狀態(tài)和模型激活；繼而從這三個(gè)維度對(duì)現(xiàn)有研究成果進(jìn)行多角度評(píng)述；最后展望了該領(lǐng)域未來(lái)的發(fā)展方向，強(qiáng)調(diào)持續(xù)創(chuàng)新顯存優(yōu)化技術(shù)對(duì)推動(dòng)大語(yǔ)言模型發(fā)展的重要性，為研究人員理解大語(yǔ)言模型訓(xùn)練中的顯存優(yōu)化挑戰(zhàn)與技術(shù)演進(jìn)提供了系統(tǒng)參考。