SageMaker Inference新增前缀感知路由以降低LLM延迟

AWS介绍了Amazon SageMaker Inference中的前缀感知路由，用于降低大语言模型推理延迟。

文章解释，发送给LLM的提示通常包含固定前缀和变化部分。前缀感知路由会识别请求的共同前缀，并尽量把请求发送到已有对应缓存的实例，从而减少重复处理固定内容的时间。

实际收益取决于提示前缀重复度、路由配置、模型和流量分布，部署前仍需用业务数据测量。

来源：AWS Machine Learning Blog，发布时间：2026年9月10日。