免费软件、软件分享、系统优化、AI工具
科技皮皮虾 > 科技要闻 > NVIDIA介绍XPU与AI工厂协同设计

NVIDIA介绍XPU与AI工厂协同设计

NVIDIA发布文章,讨论定制XPU接入AI工厂时的系统设计和运行指标。

NVIDIA XPU与AI工厂协同设计原创配图

文章将AI工厂描述为持续运行的计算基础设施,关注每秒令牌数、每瓦令牌数、每令牌成本、利用率和可用性等产出指标。NVIDIA表示,定制XPU需要与先进芯片、封装、内存、网络、供电和软件系统协同设计。

NVIDIA介绍NVLink Fusion等互连方案,用于把定制加速器接入更完整的AI基础设施。具体部署仍取决于云服务商或AI企业的工作负载、功耗、网络带宽和软件兼容性要求。

用完整工作负载核算系统收益

XPU是否适合某个AI工厂,不能只比较芯片峰值算力。评估时应选取代表性的训练或推理任务,在相同质量要求下测量持续吞吐、请求延迟、设备利用率、每瓦产出和故障恢复情况,同时记录内存容量、网络通信及软件迁移带来的限制。若算力提升却让网络或数据供给成为瓶颈,整机产出未必同步增加。

文章列出的每令牌成本、能效与可用性等指标适合作为核算维度,但具体结果需要由实际集群验证。比较时应说明模型、批量、并发、上下文长度和电力成本假设,并把部署与运维成本纳入周期内总成本。这样才能将互连方案的技术能力转化为可复核的业务指标,而不把厂商架构介绍直接当作采购结论。

来源:NVIDIA Blog,发布时间:2026年8月24日。