免费软件、软件分享、系统优化、AI工具
科技皮皮虾 > 科技要闻 > AWS发布NeMo Switchyard方案:在Bedrock按编码任务路由模型

AWS发布NeMo Switchyard方案:在Bedrock按编码任务路由模型

AWS于2026年11月13日发布技术文章,介绍使用NVIDIA NeMo Switchyard在Amazon Bedrock中为编码代理请求选择模型的方案。文章提出以“每个成功完成任务的成本”衡量路由效果,而不是只比较单次调用的Token价格。

Amazon Bedrock编码代理模型路由原创配图

NeMo Switchyard是开源库,可根据配置的模型和路由策略决定每次请求的处理模型。其LiteLLM集成提供Stage和Random两种策略。Stage读取请求历史中的工具活动及结果,在能力更强和成本更低的模型之间选择;Random按配置的权重随机分配请求,可用于流量切分和A/B比较。路由评估指标包括完成测试的任务数、重试次数和未完成任务产生的成本。

AWS给出的示例使用AWS Cloud Development Kit部署LiteLLM和Switchyard插件。两者运行在Amazon ECS on AWS Fargate的私有子网中,通过应用负载均衡器接收OpenAI兼容请求,再由LiteLLM调用Amazon Bedrock Converse或ConverseStream API。示例同时配置AWS WAF、应用负载均衡器路径白名单、Route 53、Amazon ECR、Secrets Manager和CloudWatch日志。

请求可通过Amazon Bedrock Runtime VPC接口端点访问模型,返回头部会标明实际响应模型名称。文章使用switchyard-server 0.3.0和LiteLLM v1.102.0镜像,并提示该集成为实验性示例,配置和接口可能变化,部署前应在非生产账户中测试。文章来源:AWS Machine Learning Blog。