AWS 为 SageMaker HyperPod 推出推理新能力，新增数据采集、Hugging Face、NVMe 与 Route 53 集成

AWS 于美国太平洋时间 2026 年 7 月 9 日在 AWS Machine Learning Blog 发布《Enhancing enterprise inference on Amazon SageMaker HyperPod with data capture, Hugging Face, NVMe, and Route 53 integration》，公布 Amazon SageMaker HyperPod 面向企业推理场景的一组新能力，覆盖数据采集、模型来源、存储加载、DNS 管理与 pod 级权限控制。

公开页面显示，这篇文章发布时间为美国太平洋时间 2026 年 7 月 9 日 08:38:11，对应北京时间 2026 年 7 月 10 日 00:38:11。AWS 在文中表示，随着企业扩大生成式 AI 负载规模，推理基础设施对可观测性、部署灵活性与启动速度的要求同步上升，SageMaker HyperPod 这次更新围绕这些生产环境需求集中补充能力。

新增三层数据采集与直接模型接入

AWS 介绍，HyperPod 现在支持在推理链路的多个位置记录请求与响应数据，覆盖 SageMaker AI endpoint、Application Load Balancer 和模型 pod 三个层级。配置方式采用 CRD 声明式结构，企业可按需要启用任意组合，并将数据写入 Amazon S3，用于监控、调试和后续模型改进。

在模型接入侧，AWS 新增 Hugging Face model source 支持，允许团队直接从社区模型源部署权重，不再要求预先把模型文件放入对象存储或文件存储。官方说明同时提到，这一流程支持 gated access、revision pinning 与 token isolation，并覆盖 vLLM、TGI 和 SGLang 等主流推理运行时。

补充 NVMe 加速、Route 53 DNS 管理与 pod 级权限

AWS 在文中写明，HyperPod 新增本地 NVMe 模型加载能力，模型权重可优先从节点本地 NVMe 存储载入，以缩短冷启动时间；若本地数据不可用，系统会回退到云端存储路径。与此同时，HyperPod 还可自动处理自定义域名对应的 Route 53 DNS 记录，减少推理服务上线时的网络配置步骤。

权限控制方面，AWS 新增 custom service accounts 机制，用于把 AWS Identity and Access Management 权限细化到 pod 级别。文章将这项调整与企业环境中的安全边界管理一起说明，强调基础设施团队可以用更细粒度方式定义不同推理工作负载的访问权限。

面向企业生产推理链路补齐运维能力

AWS 对这批更新的归纳是，HyperPod 在现有大模型推理托管基础上，继续补齐可观测性、治理和上线效率相关能力。官方给出的适用方向包括生产环境监控、推理审计、社区模型接入、冷启动优化与企业域名接入。文章作者为 Ugochukwu Udeh、Pramod Nandagawali、Amol Patwardhan 与 Aparna Tewari，来源为 AWS Machine Learning Blog 官方公开信息。