NVIDIA 发布 AI 工厂全栈可观测性选型指南：从灰故障定位到告警收敛

NVIDIA 技术博客发文介绍面向 NVIDIA AI 基础设施的全栈可观测性框架，将计算、网络、存储、编排与应用层的遥测数据整合起来，帮助运维团队精准定位根因，并减少诸如 InfiniBand 集群"灰故障"引发的级联失效。

文章以一个典型案例说明问题：一个已运行三天的分布式训练任务在 GPU 利用率与队列等待均正常的情况下吞吐下降，六小时后才追查到原因是单条 InfiniBand 链路误码率升高。由于 AI 训练遵循批量同步并行（BSP）模型，对慢节点极为敏感，链路层重传会使某个 rank 在 NCCL all-rereduce 等同步集合通信中停滞，整体吞吐随之跌至最慢节点。

框架的核心是把组件映射到专用遥测工具：DCGM、NVSM、UFM、NetQ、NMX、BCM、Run:ai 与 NIM 各有分工，原则是工具重叠最小化，并将精简、可执行的告警集与 SLO/SLI 指标挂钩，最终在 Prometheus/Grafana 中统一分诊。文中给出具体选型建议：GPU 利用率、功耗、温度、NVLink 与 XID/ECC 指标优先用 DCGM，DGX 级节点的系统健康保留 NVSM；InfiniBand 用 UFM，Spectrum 以太网/RoCE 用 NetQ，仅两种网络并存时才同时部署；机架级 NVLink 则需要 NMX。

运维最佳实践方面，文章要求每个被监控域至少有一个专用工具，所有关键告警必须可执行并关联到责任人；可观测性成熟度的衡量标准，是在大量算力资源损失之前就能识别故障组件及其修复路径。