6月30日，百度正式開源文心大模型4.5系列模型后，壁仞科技率先啟動與文心系列大模型的開源適配工作。通過適配飛槳推理框架及結(jié)合自研推理引擎后端優(yōu)化技術(shù)，壁仞科技能夠迅速實現(xiàn)文心大模型的適配響應(yīng)以及性能調(diào)優(yōu)。

文心4.5系列開源模型共10款，涵蓋了激活參數(shù)規(guī)模分別為47B和3B的混合專家（MoE）模型（最大的模型總參數(shù)量為424B），以及0.3B的稠密參數(shù)模型。

文心4.5系列模型均使用飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署。在大語言模型的預(yù)訓(xùn)練中，模型FLOPs利用率（MFU）達(dá)到47%。實驗結(jié)果顯示，該系列模型在多個文本和多模態(tài)基準(zhǔn)測試中達(dá)到SOTA水平，在指令遵循、世界知識記憶、視覺理解和多模態(tài)推理任務(wù)上效果尤為突出。模型權(quán)重按照Apache 2.0協(xié)議開源，支持開展學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用。

壁仞科技依托自研的壁礪?系列通用GPU架構(gòu)與深度優(yōu)化的軟件棧，從而實現(xiàn)對文心系列模型的適配。壁礪?系列產(chǎn)品可廣泛用于大語言、多模態(tài)、圖像識別、推薦等場景，支持預(yù)訓(xùn)練、微調(diào)、推理等使用方式，不僅能夠與主流AI生態(tài)無縫兼容，0成本遷移適配，還能夠通過靈活可控的多機多卡集群擴展能力，全方位支持千億及以下不同規(guī)格參數(shù)量模型，為全行業(yè)的各類業(yè)務(wù)場景提供極具性價比的產(chǎn)品方案。

基于飛槳提供開源的產(chǎn)業(yè)級開發(fā)套件，文心系列模型廣泛兼容多種芯片，降低后訓(xùn)練和部署門檻。這也意味著，通過壁礪?系列通用GPU產(chǎn)品與文心系列模型的適配，能夠有效滿足海量中小企業(yè)以及AI開發(fā)者的多樣化需求，進(jìn)一步加速人工智能應(yīng)用在各領(lǐng)域的落地。

值得一提的是，自2023年開始，壁仞科技與百度聯(lián)合發(fā)起飛槳+文心大模型硬件生態(tài)共創(chuàng)計劃，聯(lián)合開展多個重大科研項目攻關(guān)，在訓(xùn)練和推理兩個方向都實現(xiàn)了壁仞GPU與飛槳框架的深度適配，并獲得了二級適配證書。未來，雙方將共同打造軟硬一體的人工智能大模型平臺，推動大模型應(yīng)用規(guī)?；涞?，共創(chuàng)開放、共贏的創(chuàng)新生態(tài)，為新一代智能化浪潮注入澎湃動力。