NVIDIA 推出用于 Chat-GPT 的 H100 NVL 双 GPU AI 加速器

　　H100 NVL 代表了 NVIDIA Hopper 系列中最好的垃圾箱。它是 H100 数据中心加速器的一种技术变体，专为一个目的而设计，用于增强 AI 语言模型，例如 Chat-GPT。

　　简而言之，NVL 代表 H100 GPU 上的此配置使用的 NVLink。H100 NVL 不是一个 GPU，而是两个 PCIe 卡的双 GPU 选项，通过三个 NVLink Gen4 桥相互连接。

　　但与现有 H100 GPU 相比，NVL 变体还有另一个优势——内存容量。该 GPU 使用所有六个 HBM3 内存堆栈，提供总共 188 GB 的高速缓冲区。这是一个不寻常的容量，表明每个 GPU 上只有 94GB 可用，而不是 96GB。

　　H100 NVL 具有完整的 6144 位内存接口(每个 HBM3 堆栈 1024 位)和高达 5.1 Gbps 的内存速度。这意味着最大吞吐量为 7.8GB/s，是 H100 SXM 的两倍多。大型语言模型需要大缓冲区，更高的带宽肯定也会产生影响。

　　用于大型语言模型部署的 NVIDIA H100 NVL 非常适合大规模部署 ChatGPT 等大型 LLM。与数据中心规模的上一代 A100 相比，具有 94GB 内存和 Transformer Engine 加速功能的全新 H100 NVL 在 GPT-3 上提供高达 12 倍的推理性能。

　　NVIDIA 预计 H100 NVL GPU 将于今年下半年推出，但没有提供任何进一步的细节。