英偉達11月13日正式發(fā)布了新一代AI GPU芯片H200，以及搭載這款GPU的AI服務(wù)器平臺HGX H200等產(chǎn)品。這款GPU是H100的升級款，依舊采用Hopper架構(gòu)、臺積電4nm制程工藝，根據(jù)英偉達官網(wǎng)，H200的GPU芯片沒有升級，核心數(shù)、頻率沒有變化，主要的升級便是首次搭載HBM3e顯存，并且容量從80GB提升至141GB。
得益于新升級的HBM3e芯片，H200的顯存帶寬可達4.8TB/s，比H100的3.35TB/s提升了43%。不過這遠沒有達到HBM3e的上限，海外分析人士稱英偉達有意降低HBM3e的速度，以追求穩(wěn)定。如果與傳統(tǒng)x86服務(wù)器相比，H200的內(nèi)存性能最高可達110倍。
由于美光、SK海力士等公司的HBM3e芯片需等到2024年才會發(fā)貨，因此英偉達表示H200產(chǎn)品預(yù)計將在2024年第二季度正式開售。
參數(shù)方面，H200 GPU目前僅提供SXM 5板卡形態(tài)，并兼容此前H100的主板。其中GPU核心預(yù)計與H100相同，CUDA核數(shù)預(yù)計為16896個，Tensor Core張量核心數(shù)為528個，GPU加速頻率1.83GHz，總晶體管數(shù)量約為800億個，NVLink 4帶寬依舊為900GB/s，PCIe Gen5帶寬為128GB/s，TDP功耗與H100一致，均為700W。
英偉達表示，通過超高速的NVLink-C2C連接，H200可以兼容此前發(fā)布的GH200超級芯片，后者在一塊板卡上整合了英偉達自研的Grace CPU、Hopper GPU，同樣具備HBM3e高帶寬內(nèi)存。此外，英偉達為這些硬件提供了與之配套NVIDIA AI Enterprise軟件套件，便于開發(fā)者、企業(yè)創(chuàng)建人工智能大模型。
以下為英偉達官網(wǎng)展示的H100參數(shù)：
盡管GPU核心未升級，但H200憑借更大容量、更高帶寬的顯存，依舊可以在人工智能大模型計算方面實現(xiàn)顯著提升，支持更多參數(shù)大模型，滿足更高的工作負載，同時能效方面會有提升。
單卡性能方面，H200相比H100，在Llama2的130億參數(shù)訓(xùn)練中速度提升40%，在GPT-3的1750億參數(shù)訓(xùn)練中提升60%，在Llama2的700億參數(shù)訓(xùn)練中提升90%。
在降低能耗、減少成本方面，H200的TCO（總擁有成本）達到了新水平，最高可降低一半的能耗。
英偉達表示，從2021年推出的A100開始，AI芯片的性能每年都有顯著提升，預(yù)計采用全新架構(gòu)的B100 GPU將同樣于2024年發(fā)布，人工智能算力相比H100、H200有望實現(xiàn)倍增。
英偉達HGX H200 AI服務(wù)器
英偉達同時推出了搭載H200 GPU的HGX人工智能服務(wù)器系統(tǒng)。該平臺提供4-GPU、8-GPU選項，分別具備564GB、1.1TB顯存，可滿足超大規(guī)模AI大模型推理、深度學(xué)習(xí)計算需求。HGX服務(wù)器可配備400Gb/s高速網(wǎng)絡(luò)連接選項，利用NVIDIA Quantum-2 InfiniBand和Spectrum-X以太網(wǎng)實現(xiàn)互聯(lián)。此外，NVIDIA BlueField-3 DPU單元，可以在超大規(guī)模AI云數(shù)據(jù)中心中實現(xiàn)云端網(wǎng)絡(luò)、融合存儲、零信任安全性以及GPU計算的彈性。
以下為HGX H200參數(shù)：
（校對/孫樂）
