AWS介绍了在Amazon SageMaker HyperPod上通过模型缓存减少大语言模型推理冷启动的方法。
当用户申请计算Pod到服务真正可以接收流量之间存在准备时间，模型下载和加载可能成为冷启动的一部分。该方案把模型文件保存在可复用的缓存位置，使后续实例能够减少重复传输和初始化步骤。
冷启动改善幅度与模型大小、存储配置、网络和集群调度有关，具体结果需要在目标HyperPod环境中验证。
来源：AWS Machine Learning Blog，发布时间：2026年9月10日。
模型缓存主要减少重复传输模型文件的等待，但实例启动仍可能包含容器拉取、权重加载、内存分配、图优化和健康检查。评估冷启动时应记录从请求扩容到服务真正接收流量的完整时间，并把模型下载、初始化和调度各阶段分开测量，确认缓存针对的是当前瓶颈。
缓存键应与模型版本、精度格式和运行配置一致；发布新权重后要避免误用旧缓存。测试可比较首次部署、同版本扩容、版本升级和缓存未命中的启动表现，同时检查缓存存储容量、网络带宽与清理策略。
模型缓存可能提升弹性扩容速度，但也会占用存储并产生维护成本。对延迟敏感服务，还要结合扩缩容预测、最小常驻副本和实际流量分析，而不是仅依据一次暖启动测试判断收益。最终以目标HyperPod配置下的P95就绪时间和资源成本作比较。
