Salesforce借助SageMaker推理组件实现跨可用区高可用

AWS介绍Salesforce使用Amazon SageMaker推理组件满足多可用区高可用要求。

Salesforce通过SageMaker Inference Components的SchedulingConfig参数，将同一模型的多个副本分布到不同Availability Zone。该部署方式用于降低单一可用区故障对推理服务的影响。

文章指出，推理组件可在同一基础设施上托管多个模型，兼顾多模型共置的成本效率与跨可用区部署要求。副本数量、实例类型和调度策略需要根据流量及合规标准配置。

来源：AWS Machine Learning Blog，发布时间：2026年8月29日。

多可用区部署还需要验证故障切换

把同一模型的副本分布到多个Availability Zone，可以降低单一区域故障导致服务完全不可用的风险；但副本分散不等于切换一定无感。负载均衡、健康检查、模型加载时间和剩余区域容量都会影响故障期间的实际响应能力。

演练时可模拟一个可用区不可用，观察请求是否转向健康副本、错误率和尾延迟是否仍在服务目标内，以及恢复后流量是否能稳定回迁。还要确认多个模型共置时，资源争用或一个模型的突发流量不会挤占其他模型的容量。

高可用通常带来额外副本和跨区资源成本。应按业务SLO设定最低副本数、扩容策略和故障预算，再比较单模型部署与多模型共置的成本差异。Salesforce的案例展示了一种配置方式，其他团队需结合模型加载时长、流量模式和区域配额重新验证。