免费软件、软件分享、系统优化、AI工具
科技皮皮虾 > 科技要闻 > Amazon Bedrock 支持 OpenAI GPT-5.6 显式提示词缓存

Amazon Bedrock 支持 OpenAI GPT-5.6 显式提示词缓存

AWS Machine Learning Blog 于 7 月 30 日宣布,OpenAI GPT-5.6 Sol、Terra 和 Luna 已在 Amazon Bedrock 正式上线,同时提供显式提示词缓存功能。

Amazon Bedrock 上 OpenAI GPT-5.6 显式提示词缓存的原创配图,展示可复用提示词片段与模型推理

AWS 介绍,显式提示词缓存允许调用方指定提示词中需要缓存并重复使用的部分。该机制面向存在重复上下文的模型调用场景。

模型范围

本次列入 Amazon Bedrock 的模型包括 GPT-5.6 Sol、GPT-5.6 Terra 和 GPT-5.6 Luna。AWS 将其标注为正式可用。

缓存方式

与由服务端自动决定缓存内容的方式不同,显式缓存由调用方控制提示词的可复用片段。AWS 在原文中给出配置与启动步骤。

适合重复上下文,不是所有提示词都值得缓存

显式缓存更适合稳定且会在多次请求中重复使用的上下文。若提示内容每次都变化,缓存收益可能有限;实际效果应通过相同任务集比较缓存前后的输入令牌成本、响应时间和输出质量。测试中还要检查缓存边界是否与动态用户内容分开,避免把不应复用的上下文带入后续请求。

启用前应阅读当前Bedrock模型的具体配置说明,确认缓存标记位置、有效期和更新策略,并对提示词变更做回归测试。缓存只改变重复上下文的处理方式,不会自动改善提示质量或保证模型答案一致。AWS公告说明功能已上线,但不同模型、调用模式和实际重复率下的节省幅度需要自行测量。

发布时间与来源

该公告发布于 AWS Machine Learning Blog,原文标题为《Introducing explicit prompt caching for OpenAI GPT-5.6 models on Amazon Bedrock》。

来源:AWS Machine Learning Blog