NVIDIA发布文章，介绍Vera Rubin NVL72系统面向AI代理工作负载的吞吐和能效设计。
NVIDIA援引OpenRouter数据称，代理式AI工作负载消耗的令牌量可达到普通聊天请求的15倍。文章以投资研究类代理为例，说明代理可能连续查询数据库、检索新闻和文件、调用子代理并生成综合结果。
Vera Rubin NVL72的设计重点包括提升令牌生成速度、降低每瓦成本并提高系统利用率。NVIDIA表示，评估代理推理系统需要同时观察吞吐、延迟、功耗和模型质量，不能只比较单个加速器性能。
代理可能反复检索信息、调用工具并汇总结果，因此一次业务任务包含的模型调用和上下文处理可能远多于单轮聊天。NVIDIA援引的数据是对特定工作负载的描述，不应直接套用为每个代理应用的固定倍数。评估时应先统计自己的任务调用链、平均与长尾令牌量，再用完成任务所需时间和成本作为比较口径。
对NVL72等系统的能效判断，也要在模型质量和任务成功率相近时进行。可记录并发变化下的端到端延迟、每瓦完成任务数、资源利用率与失败重试，并披露测试模型和软件配置。仅观察每秒令牌数，可能忽略代理调用外部工具的等待时间以及未完成任务带来的额外成本。
来源：NVIDIA Blog，发布时间：2026年8月24日。
