當(dāng)前，AI正在成為移動(dòng)端游戲體驗(yàn)的重要組成部分。從幀率和畫質(zhì)增強(qiáng)，到光線追蹤，再到NPC互動(dòng)，為手機(jī)游戲帶來體驗(yàn)和交互上的顯著提升。
近日，在國際計(jì)算機(jī)圖形與交互技術(shù)領(lǐng)域頂會(huì)SIGGRAPH上，Arm發(fā)布業(yè)界首創(chuàng)Arm神經(jīng)技術(shù) (Arm Neural Technology)，將專用神經(jīng)加速器引入2026年推出的GPU中。該技術(shù)能夠?qū)⒂糜趫D形渲染的GPU性能提升至更高水平，使包括手游領(lǐng)域在內(nèi)的更為復(fù)雜的移動(dòng)端內(nèi)容減少超過50%的GPU工作負(fù)載。
“目前移動(dòng)端的圖形技術(shù)發(fā)展愈發(fā)復(fù)雜，用戶對(duì)卓越的游戲體驗(yàn)期待也日益攀升。Arm認(rèn)為實(shí)現(xiàn)這一目標(biāo)的唯一途徑，就是通過游戲和AI集成，這也正是Arm推出神經(jīng)技術(shù)的原因所在。手游領(lǐng)域的發(fā)展非常迅速，Arm將持續(xù)投資于這一技術(shù)，并且引領(lǐng)行業(yè)發(fā)展?！盇rm終端事業(yè)部產(chǎn)品管理總監(jiān)Steve Steele在接受集微網(wǎng)等媒體采訪時(shí)表示。
強(qiáng)攻GPU創(chuàng)新
如今，全球游戲產(chǎn)業(yè)正在加速發(fā)展。移動(dòng)設(shè)備作為大多數(shù)游戲的運(yùn)行載體，目前已成為近半數(shù)游戲營收的來源。全球市場(chǎng)對(duì)高畫質(zhì)、高幀率的視覺效果的需求，正不斷推動(dòng)手機(jī)游戲性能的極限，也是推動(dòng)Arm在GPU領(lǐng)域進(jìn)行創(chuàng)新的動(dòng)力所在。
全球市場(chǎng)看，亞太地區(qū)對(duì)于手游的需求非常顯著。例如在韓國，《天堂 M》等角色扮演游戲和《崩壞：星穹鐵道》等回合制戰(zhàn)斗游戲占據(jù)了消費(fèi)支出的很大比重，中國市場(chǎng)的情況也與之類似，《王者榮耀》等多人競(jìng)技游戲以及《和平精英》等戰(zhàn)術(shù)競(jìng)技游戲，在拉動(dòng)大量消費(fèi)的同時(shí)，也將移動(dòng)設(shè)備的性能推向了極限。而這類游戲?qū)D形性能的要求極為嚴(yán)苛。因此，如何提升手游領(lǐng)域的高水準(zhǔn)畫質(zhì)成為Arm設(shè)計(jì)GPU的關(guān)注點(diǎn)。
多年來，Arm持續(xù)推動(dòng)移動(dòng)端的圖形性能表現(xiàn)。包括2022年推出光線追蹤、可變速率著色等功能；2023年引入延遲頂點(diǎn)著色技術(shù)(DVS)；2024年又進(jìn)一步強(qiáng)化其性能與功能的表現(xiàn)，并推出精銳超級(jí)分辨率技術(shù) (Arm Accuracy Super Resolution, Arm ASR)， 通過基于著色器的高效算法。通過提升計(jì)算著色器的性能，來增強(qiáng)GPU的AI性能。
而Arm此次推出的神經(jīng)技術(shù)，則成為其GPU設(shè)計(jì)創(chuàng)新中新的里程碑。
眾多引AI賦能而提升的手機(jī)游戲體驗(yàn)，離不開底層CPU、GPU和NPU的硬件支撐，也離不開相關(guān)軟件的支持，在以高能效的方式運(yùn)行AI的同時(shí)，盡可能減少開發(fā)者的使用障礙。這也是為什么領(lǐng)先的IP和芯片設(shè)計(jì)公司都在強(qiáng)調(diào)開發(fā)工具、軟件棧的重要原因。因?yàn)槿绻布牟町惢c軟件的一致性上如果缺乏妥善規(guī)劃，將給開發(fā)者帶來巨大負(fù)擔(dān)。
正因如此，Arm去年針對(duì)Arm CPU推出了Arm KleidiAI軟件庫。各類AI算法的運(yùn)行均始于Arm CPU，確保在支持更多AI算法的前提下，CPU能提供開發(fā)者所需的性能。
而對(duì)于當(dāng)前開發(fā)者在GPU AI開發(fā)上的趨勢(shì)，特別是考慮到AI與圖形管線深度結(jié)合，以及3A手游中常見的高分辨率圖形工作負(fù)載。Arm認(rèn)為，隨著AI與實(shí)時(shí)圖形技術(shù)的深度融合，行業(yè)需要具備緊密集成、高性能且高能效的基于GPU的 AI。從而讓開發(fā)者能在GPU上輕松運(yùn)行AI，而提高能效的理想解決方案是將計(jì)算放置于數(shù)據(jù)所在位置，而非將數(shù)據(jù)傳輸至計(jì)算之處。
GPU負(fù)載減半如何做到
據(jù)Arm方面介紹，此次發(fā)布的Arm神經(jīng)技術(shù) (Arm Neural Technology)包括一整套軟硬件一體的解決方案，包括硬件、軟件和工具來支持整個(gè)生態(tài)系統(tǒng)的發(fā)展。神經(jīng)技術(shù)的硬件部分即神經(jīng)加速器。Arm神經(jīng)加速器將深度嵌入到Arm Mali GPU中，可以實(shí)現(xiàn)非常低的延遲。同時(shí)，AI和圖形之間的接口也能達(dá)到極高效且低功耗的表現(xiàn)。
這樣的思路在桌面端NVIDIA DLSS的神經(jīng)技術(shù)，包含多幀生成、光纖重建、超級(jí)分辨率等，其主要利用的是NVIDIA GPU中的張量核心。
實(shí)際上，一些神經(jīng)技術(shù)已在桌面PC端應(yīng)用多年，在提升畫質(zhì)、分辨率及幀率方面的優(yōu)勢(shì)不僅已充分獲得驗(yàn)證，而這些優(yōu)勢(shì)同樣適用于移動(dòng)端，但移動(dòng)端對(duì)能耗的敏感度遠(yuǎn)高于桌面設(shè)備。而Arm神經(jīng)技術(shù)，具備靈活且前沿的AI功能，專為移動(dòng)端優(yōu)化，使開發(fā)者能夠輕松部署先進(jìn)的神經(jīng)渲染技術(shù)，一切只需在Arm技術(shù)的基礎(chǔ)之上進(jìn)行創(chuàng)新即可。
Steve Steele認(rèn)為，對(duì)于Arm神經(jīng)技術(shù)而言，遠(yuǎn)不止于是張量核心，更像是每個(gè)著色器中的“迷你”NPU，而正是這項(xiàng)技術(shù)支撐了其中的一個(gè)用例——Arm神經(jīng)超級(jí)采樣 (Arm NSS) 等算法，從而實(shí)現(xiàn)GPU工作負(fù)載50%的降低。
2024年，Arm推出精銳超級(jí)分辨率技術(shù) (Arm Accuracy Super Resolution, Arm ASR)，在降低單幀成本的同時(shí)，又可保證畫質(zhì)。游戲工作室可借助提升幀率、提高畫質(zhì)或降低游戲功耗。目前，該技術(shù)以集成至游戲引擎，《堡壘之夜》、《無限暖暖》等熱門游戲已率先采用該技術(shù)，而且已面向所有手游開發(fā)者開放。
但Steve Steele指出，像Arm ASR這類基于傳統(tǒng)算法的方案，其性能提升只能達(dá)到一定程度。要實(shí)現(xiàn)真正高效且高質(zhì)量的優(yōu)化升級(jí)效果，需要神經(jīng)技術(shù)的助陣。
據(jù)Steve Steele介紹，Arm NSS技術(shù)通API兼容的方式提供了一個(gè)Arm ASR的升級(jí)方案。如果說Arm ASR為基于著色器的圖形優(yōu)化升級(jí)能力樹立了新標(biāo)桿，那么Arm NSS則憑借更快速、更清晰、更高能效的實(shí)時(shí)AI渲染，實(shí)現(xiàn)了進(jìn)一步的性能突破。Arm NSS能夠通過較低質(zhì)量的輸入生成同等質(zhì)量的輸出，或以相同的輸入生成更高質(zhì)量的輸出，且運(yùn)行時(shí)間僅需四毫秒。這意味著全方位的突破：速度更快、能耗更低、畫質(zhì)更高。
“具體而言，該技術(shù)能讓游戲以540p分辨率進(jìn)行渲染，并通過兩倍性能優(yōu)化升級(jí)，輸出超高質(zhì)量的畫面。這意味著，對(duì)比于傳統(tǒng)的全幀渲染方法，開發(fā)者可減少50%的GPU工作負(fù)載。開發(fā)者可以靈活選擇如何利用這些節(jié)省的資源，既可節(jié)省下來用于降低游戲的整體功耗，也可將之用于提升幀率或增強(qiáng)視覺效果?！盨teve Steele說。
Arm在 SIGGRAPH 大會(huì)上展示了全新演示項(xiàng)目“魔法城堡”。畫面中兩個(gè)高難度區(qū)域的放大效果。左側(cè)是真實(shí)標(biāo)簽 (Ground Truth)，即全分辨率渲染的效果。其余圖像均采用兩倍優(yōu)化升級(jí)技術(shù)，這意味著只需渲染四分之一的像素。從中可以看到 Arm ASR在“性能”模式下的效果，以及某主流桌面級(jí)神經(jīng)優(yōu)化升級(jí)技術(shù)的效果。而Arm NSS能達(dá)到與桌面級(jí)優(yōu)化升級(jí)技術(shù)同等的畫質(zhì)，且成本更低，每幀可節(jié)省50%的工作負(fù)載。
兩個(gè)彩蛋：NSSD+NFRU
據(jù)Arm方面介紹，Arm NSS只是此次發(fā)布的Arm神經(jīng)技術(shù)的首個(gè)用例，另外還有兩個(gè)新用例正在開發(fā)中。
第一個(gè)新用例是神經(jīng)幀率提升 (Neural Frame Rate Upscaling, NFRU)，該技術(shù)通過采集連續(xù)兩幀畫面并生成中間幀，直接提升幀率。該神經(jīng)網(wǎng)絡(luò)與Arm為其GPU新增的硬件緊耦合，可加速運(yùn)動(dòng)向量的生成，用于追蹤像素在場(chǎng)景中的移動(dòng)軌跡。這項(xiàng)技術(shù)可通過較低成本，將30 FPS的內(nèi)容優(yōu)化升級(jí)至60FPS。
第二個(gè)新用例是神經(jīng)超級(jí)采樣與降噪 (Neural Super Sampling and Denoising, NSSD)，這是一套面向光線追蹤內(nèi)容的Arm NSS擴(kuò)展技術(shù)。
相比于全路徑追蹤內(nèi)容要求每個(gè)像素向場(chǎng)景發(fā)射數(shù)百甚至數(shù)千條光線，經(jīng)過反彈后最終抵達(dá)光源，從而讓圖形引擎精確計(jì)算該像素的亮度。但這種路徑追蹤技術(shù)的成本極高，即便是桌面系統(tǒng)也難以承受。而如果將路徑追蹤與NSSD這類神經(jīng)網(wǎng)絡(luò)相結(jié)合，每個(gè)像素只需發(fā)射少量光線，再借助神經(jīng)技術(shù)重建缺失細(xì)節(jié)，不僅能從相鄰像素推斷數(shù)據(jù)，還能利用歷史幀信息進(jìn)行補(bǔ)充。
移動(dòng)端的光線追蹤技術(shù)直至去年才被正式引入，目前在一些手游中逐步得到運(yùn)用，但所帶來的影響并不顯著。Steve Steele認(rèn)為，目前阻礙光線追蹤技術(shù)普及的原因之一，是其昂貴的計(jì)算成本以及能耗。而Arm的神經(jīng)AI技術(shù)，則能使不同類型的光線追蹤以更低的成本得以實(shí)現(xiàn)，比如隨機(jī)投射的光線，或較少數(shù)量的光線，使得光線追蹤能夠在移動(dòng)設(shè)備上實(shí)現(xiàn)。但隨之而來的問題是如何對(duì)圖像進(jìn)行深度降噪，而Arm的神經(jīng)技術(shù)則能夠智能降噪光線追蹤圖像。
下圖中是分屏對(duì)比，左側(cè)是低分辨率、帶噪點(diǎn)的光線追蹤圖像；右側(cè)是通過神經(jīng)技術(shù)重建后，高分辨率且無噪點(diǎn)的圖像。
全面開放賦能開發(fā)者
作為底層IP廠商，為游戲開發(fā)者提供支持，一直是Arm生態(tài)構(gòu)建發(fā)展重點(diǎn)。
Steve Steele表示，Arm之所以將神經(jīng)技術(shù)在引入GPU正式上市之前發(fā)布，是因?yàn)槿粢@類技術(shù)能真正釋放潛力，需要游戲開發(fā)者基于它們進(jìn)行創(chuàng)新。Arm在目前正在舉行的SIGGRAPH 大會(huì)上向開發(fā)者詳細(xì)講解這些新技術(shù)及其原理，并對(duì)外發(fā)布相關(guān)軟件與模擬器。
此外，伴隨神經(jīng)技術(shù)的發(fā)布，Arm還同步推出了面向Vulkan圖形API的機(jī)器學(xué)習(xí) (ML) 擴(kuò)展，實(shí)現(xiàn)跨平臺(tái)標(biāo)準(zhǔn)化，以及業(yè)內(nèi)首個(gè)面向神經(jīng)圖形技術(shù)的開放軟件開發(fā)套件 (SDK)，為開發(fā)者提供一站式的開發(fā)資源。
其中，Arm NSS可通過神經(jīng)圖形開發(fā)套件 (Neural Graphics Development Kit) 啟用，該套件也在本周的 SIGGRAPH大會(huì)上推出。該套件的核心是虛幻引擎 (Unreal Engine) 插件，開發(fā)者只需簡單幾步操作，就能將Arm NSS集成到游戲中；同時(shí)還包含開放格式的模型，這些模型將被推送至Hugging Face，也會(huì)納入開發(fā)套件。
由于硬件問世尚需一段時(shí)間，套件中還包含了面向Vulkan的Arm ML擴(kuò)展的完整PC模擬器。這樣一來，開發(fā)者就能在桌面端運(yùn)行整個(gè)技術(shù)棧，驗(yàn)證模型在其內(nèi)容上的表現(xiàn)。如果開發(fā)者想將其集成到自有引擎中，套件中也提供了豐富的示例代碼和文檔。此外，Arm的性能工具中包含熱門開源工具 RenderDoc的Arm版本，且均已提升適配面向Vulkan的Arm ML擴(kuò)展。
同時(shí)，Arm也宣布了NFRU和NSSD兩個(gè)用例的早期訪問計(jì)劃。與Arm NSS不同，這兩項(xiàng)用例暫時(shí)缺少Arm ASR那樣的技術(shù)生態(tài)作為支持，因此Arm正積極招募游戲工作室加入開發(fā)，協(xié)助Arm完善技術(shù)，為未來的公開發(fā)布做準(zhǔn)備。Enduring Games、Sumo Digital、網(wǎng)易游戲、Traverse Research 等已經(jīng)與Arm展開合作，共同開發(fā)神經(jīng)圖形開發(fā)套件。
對(duì)于此次發(fā)布的神經(jīng)技術(shù)，Arm面向合作伙伴已開啟早期訪問計(jì)劃，目前已有很多游戲工作室加入。同時(shí)，Arm也與游戲引擎公司進(jìn)行合作。目前已得到了來自業(yè)界的積極反饋。其中，Arm神經(jīng)圖形開發(fā)套件已得到 Enduring Games、Epic Games（虛幻引擎）、網(wǎng)易游戲、Sumo Digital、騰訊游戲和 Traverse Research 等合作伙伴的支持。
Steve Steele強(qiáng)調(diào)，雖然移動(dòng)端神經(jīng)技術(shù)與桌面端存在相似性。但向開發(fā)者提供技術(shù)的方式卻大相徑庭。而與桌面端和主機(jī)端不同的是，Arm的所有神經(jīng)技術(shù)都將全面開放，這意味著游戲工作室重新訓(xùn)練模型所需的模型架構(gòu)、權(quán)重以及工具，全部可供使用。
“Arm這樣做，不僅因?yàn)橘x能生態(tài)系統(tǒng)是DNA，我們還相信不同游戲有不同需求，只有通過全面開放，開發(fā)者才能針對(duì)其獨(dú)特工作負(fù)載進(jìn)行適配優(yōu)化。Arm不僅會(huì)全力優(yōu)化今日提及的所有技術(shù)的開箱即用體驗(yàn)（如引擎插件等技術(shù)），同時(shí)也為開發(fā)者保留了底層的完整控制，那些希望進(jìn)一步調(diào)優(yōu)的開發(fā)者，盡可放手去嘗試?！盨teve Steele說。
