AWS介绍了Amazon SageMaker Inference中的前缀感知路由，用于降低大语言模型推理延迟。
文章解释，发送给LLM的提示通常包含固定前缀和变化部分。前缀感知路由会识别请求的共同前缀，并尽量把请求发送到已有对应缓存的实例，从而减少重复处理固定内容的时间。
实际收益取决于提示前缀重复度、路由配置、模型和流量分布，部署前仍需用业务数据测量。
来源：AWS Machine Learning Blog，发布时间：2026年9月10日。
前缀感知路由适合系统提示、工具说明或固定上下文在多次请求中重复的工作负载。若每次请求开头都包含不同时间戳、随机ID或变化文本，公共前缀会变短，路由到已有缓存实例的机会也随之下降。部署前先统计真实提示的共同前缀长度，而不是只用人工构造的理想样例。
比较启用前后的平均延迟时，也要查看P95/P99尾延迟、缓存命中率、实例负载是否倾斜和扩缩容情况。路由把请求集中到有缓存的实例，可能提升重复前缀命中，也可能造成热点；测试应覆盖突发流量、实例替换和不同长度提示。
若不同租户使用相同系统前缀但数据权限不同，必须确认缓存隔离和请求上下文不会跨用户泄露。节省的处理时间还要与额外实例占用和路由成本比较，最终以端到端服务质量和单位请求成本决定是否启用。
