1. 核心参数与性能

• 显存与带宽：
  • 搭载 141GB HBM3e 显存，带宽达 4.8TB/s，容量是 H100 的 1.76 倍，带宽提升 43%。
  • 支持 NVLink 4，单卡互联带宽达 900GB/s。
• 算力：
  • FP8 算力达 3,958 TFLOPS（H100 的 2 倍），FP32 算力 67 TFLOPS。
  • 在 Llama 2 70B 模型推理中，速度是 H100 的 1.9 倍；在 GPT-3.5 中快 1.6 倍。
  • HPC 任务速度是 双核 x86 CPU 的 110 倍。
• 架构与工艺：
  • 基于 Hopper 架构，800 亿晶体管，台积电 4N 工艺，TDP 700W。

2. 技术优势

• 显存升级：HBM3e 显著提升大模型处理能力，支持更复杂的 AI 训练和推理。
• 兼容性：与 H100 硬件和软件兼容，可直接替换或扩展现有基础设施。
• 能效比：在相同功耗下，性能和能效比均优于前代产品。

3. 应用场景

• 生成式 AI：加速大语言模型（LLM）推理与训练，支持多租户云服务。
• 高性能计算：科学模拟、气候研究、量子计算等内存密集型任务。
• 企业级部署：通过 HGX H200 和 DGX H200 平台，提供端到端 AI 解决方案，支持 8 卡集群达 32 PFLOPS FP8 算力。