NVIDIA H100 HGX SXM模组

NVIDIA HGX H100 是英伟达于 2022 年推出的旗舰 AI 算力平台，采用全新 Hopper 架构，2022 年 10 月起批量交付。平台基于第四代 Tensor Core 与 Transformer Engine，原生支持 FP8 训练与推理，单卡搭载 80GB HBM3 显存、带宽达 3.35TB/s，并通过 NVLink 4.0 提供 900GB/s 高速互联。H100 面向大模型训练与推理进行了全面优化，将算力水平推进到新高度，成为全球大模型浪潮中的事实标准硬件，为企业 AI 集群提供了坚实的算力底座。

一、平台架构

HGX H100 平台围绕 Hopper 架构构建，以第四代 Tensor Core、Transformer Engine 和第三代 NVSwitch 为核心，在算力、互联与安全三方面实现代际跃升，是专为大规模 AI 训练设计的系统级平台。

1.Transformer Engine引擎

Transformer Engine 是 H100 的标志性技术，可在训练与推理过程中自动在 FP8 与 FP16 之间动态切换精度，在保证模型收敛质量的同时最大化算力利用率。FP8 稀疏算力可达约 3958 TFLOPS，配合结构化稀疏加速，使 Transformer 类模型的整体计算效率大幅提升，尤其适合百亿至千亿参数的大语言模型训练。

2.HBM3显存系统

H100 SXM 版本搭载 80GB HBM3 显存，带宽提升至 3.35TB/s，相比 A100 的 HBM2e 有接近翻倍的带宽增长。大模型训练中的激活值、梯度与 KV Cache 对显存带宽极为敏感，HBM3 有效缓解了数据供给瓶颈，使 GPU 计算单元能够持续保持高负载运行，缩短整体训练周期并降低单位 token 成本。

3.NVLink与NVSwitch互联

H100 采用第四代 NVLink，单卡双向带宽 900GB/s，配合第三代 NVSwitch 实现机内八卡全互联，聚合显存达 640GB。对于千亿参数模型的张量并行与流水线并行训练，高速互联显著降低了跨卡通信开销，同时支持多节点扩展，为千卡级集群的高效线性扩展奠定基础。

二、应用场景

H100 的适用面覆盖大模型训练、线上推理与科学计算三大主线，从云端算力服务到企业私有集群均有成熟的部署形态与实践积累。

1.大模型训练

相比 A100，H100 借助 FP8 与 Transformer Engine 在 GPT 类大语言模型训练上实现数倍性能提升，配合 3.35TB/s 显存带宽与 900GB/s NVLink，训练效率与集群扩展性同步改善。对于动辄数月的千亿参数训练任务，H100 能显著缩短迭代周期，让模型团队更快完成版本验证与上线。

2.线上推理服务

H100 支持 FP8 推理与 TensorRT-LLM 加速，在保持响应质量的前提下提高单卡并发吞吐、降低单位 token 成本。对于 ChatGPT 式对话服务、RAG 检索增强与 Agent 应用等高并发场景，H100 可在同等硬件规模下服务更多用户，帮助云服务商改善推理业务的经济模型。

3.科学计算与行业AI

在分子动力学、流体仿真等传统 HPC 领域，H100 依托 64 位浮点与 DPX 加速能力提供稳定性能，同时可与服务社区主流的 CUDA 科学计算栈无缝衔接。混合负载的科研机构可在同一集群上调度 AI 训练与仿真任务，提升整体设备利用率。

三、性能表现

H100 在算力、显存与互联三个维度均实现代际提升，FP8 稀疏算力约 3958 TFLOPS，配合 3.35TB/s 显存带宽与 900GB/s NVLink，训练与推理效率全面超越 A100。

1.FP8算力表现

第四代 Tensor Core 与 Transformer Engine 带来约 3958 TFLOPS 的 FP8 稀疏算力，相比 A100 的 BF16 方案实现数倍提升。GPT 类大模型训练中，FP8 将矩阵计算与数据搬运开销同步压缩，配合结构化稀疏加速，单位时间处理的 token 数量显著增加，训练吞吐达到 A100 的数倍水平。

2.显存带宽表现

80GB HBM3 提供高达 3.35TB/s 的显存带宽，相比 A100 的 HBM2e 接近翻倍。训练阶段，高带宽保证参数与梯度的快速读写；推理阶段，权重读取速度直接决定解码时延，H100 的访存能力使大模型线上服务的响应速度与并发能力同步提升。

3.集群扩展效率

900GB/s NVLink 4.0 与第三代 NVSwitch 构成机内八卡全互联，聚合显存 640GB，多机扩展依托 PCIe 5.0 与高速无损网络。在千卡级集群中，H100 凭借成熟的通信库优化实现良好的线性加速比，支撑千亿参数模型的长时间稳定训练。

四、产品特色

H100 不仅算力强，还通过 DPX 指令、MIG 多实例与机密计算等特性，把加速能力从大模型扩展到科学计算与多租户场景，提升平台的整体利用率与安全水位。

1.DPX指令集加速

H100 引入 DPX 动态编程指令集，可大幅加速基因测序中的序列比对、路径规划与优化求解等动态编程类算法。在生物信息学与运筹优化场景中，相比上一代平台可获得数量级的性能提升，让 H100 成为 AI 与生命科学、医疗研究融合计算的通用底座。

2.MIG多实例隔离

第二代 MIG 技术可将单张 H100 划分为最多 7 个独立 GPU 实例，每个实例拥有专属的显存、缓存与算力通道，彼此物理隔离。这一特性非常适合推理服务多租户部署与开发测试资源共享，显著提升硬件利用率，帮助用户以更低成本承载多样化业务负载。

3.机密计算安全

H100 是首个支持机密计算的 GPU 平台，可在硬件层面保护运行中的数据与模型权重，即使云端管理员也无法窥探计算过程。对于金融、医疗和政务等对数据合规要求严格的行业，机密计算为在共享基础设施上开展 AI 推理与训练提供了可信的安全边界。

五、产品生态

H100 延续 CUDA 生态的完整兼容性，主流框架与云服务均已就绪，用户可以较低成本从 A100 等平台平滑迁移升级。

1.硬件平台兼容

HGX H100 提供 SXM5 与 PCIe 两种形态，可平滑接入既有数据中心机房，主流整机厂商均有成熟方案。从 A100 集群升级到 H100 时，机柜、网络与存储架构可沿用既有设计，降低改造与部署风险。

2.云服务广泛落地

AWS 推出 P5 实例，Azure 推出 ND H100 v5，Google Cloud 上线 A3 机型，CoreWeave、OCI 等 GPU 云亦大规模部署 H100，用户可按需选择公有云、托管云或自建方案，弹性获取算力而无需一次性重资产投入。

3.软件栈全支持

CUDA、NCCL、PyTorch、TensorRT-LLM 与 NVIDIA AI Enterprise 等软件栈对 H100 完整支持，Hugging Face 生态中的主流模型可直接运行。训练框架如 Megatron、DeepSpeed 均针对 Hopper 特性深度优化，充分发挥 FP8 与高速互联优势。

六、客户案例

H100 的应用已在全球范围规模化落地，从国际云巨头到 GPU 云新势力，再到大模型公司与整机厂商，形成了完整的产业生态。

1、AWS公有云实例

AWS 推出的 P5 实例搭载 8 卡 H100，并结合第二代 EFA 高速网络与 UltraCluster 集群方案，为科研机构和企业用户提供大规模训练平台。借助全球多区域布局，用户可在数小时内启动千卡级训练任务，大幅缩短模型迭代周期，加速大模型从实验走向生产。

2、Azure企业级方案

微软 Azure 推出 ND H100 v5 系列虚拟机，将 H100 与 InfiniBand 无损网络结合，并与 OpenAI 等深度合作打磨训练与推理链路。企业用户可在 Azure 上获得端到端的企业级支持，包括数据合规、模型微调与托管推理服务，降低大模型落地的技术与运营门槛。

3、GPU云新势力部署

CoreWeave、OCI、Lambda 等新兴 GPU 云以 H100 为核心构建弹性算力池，面向 AI 初创公司提供按需租用服务。其优势在于价格灵活、扩容迅速，用户无需长期承诺即可获取千卡规模资源，成为 2023 年大模型创业潮中最重要的算力供给渠道之一。

4、Meta等大模型公司实践

Meta 基于 H100 构建大规模训练集群，用于 Llama 系列开源模型的训练与迭代，验证了 H100 在万卡级工程中的可靠性。国内头部大模型团队亦普遍采用 H100 集群完成百亿至千亿参数模型的预训练，其稳定性与生态成熟度得到大规模生产环境验证。

七、总结

NVIDIA HGX H100 以 Hopper 架构、第四代 Tensor Core、Transformer Engine 与 NVLink 4.0 的组合，把 AI 算力平台推进到 FP8 时代，在大模型训练与推理上实现了对 A100 的代际超越，并通过 DPX 指令、MIG 多实例与机密计算将加速能力延伸到科学计算、多租户与高合规场景。凭借 AWS P5、Azure ND H100 v5、Google Cloud A3 等云服务的快速落地，以及 Meta、OpenAI 等头部团队的规模化验证，H100 已成为大模型时代事实上的标准训练硬件。对计划建设智算中心或升级 AI 集群的机构而言，H100 意味着更短的训练周期、更低的推理成本与更完善的软件生态，是当前算力基础设施升级中最稳健、最具确定性的选择。