AWS提出Agent Evaluation Metric（AEM），用于评估多轮对话代理在具体回合中的表现。
AWS指出，多轮代理中的早期错误可能影响后续每一轮，单轮评估难以区分最初的错误与继承结果。AEM采用可分解的回合级方法，当前文章聚焦正确性维度，帮助定位造成失败的回合。
该指标是评估框架的一部分，实际阈值、数据集和人工复核方式需要按业务场景设计。
来源：AWS Machine Learning Blog，发布时间：2026年9月10日。
多轮代理会把前一轮的答案、工具结果或错误带入下一轮。只看最终回复是否正确，可能分不清是检索漏掉资料、工具调用失败，还是后续总结误读结果。回合级评估的价值在于把每次用户输入、代理动作、外部工具返回和状态变化按顺序关联起来。
构建评估集时应为每轮定义可核对的目标，例如工具参数是否正确、引用是否支持回答、是否按要求停止。若任务存在多个合理方案，需要把“正确性”与“效率、礼貌、风险控制”等维度分开评分；单一综合分可能掩盖某一轮的严重安全错误。
AEM是评估框架中的指标思路，不会自动生成可信的标准答案。应使用人工标注的代表性对话检验评估器一致性，抽查低分和高分案例，并监控模型或工具版本变化后的评分漂移。上线门槛应按业务风险制定，不宜把论文或示例阈值直接套用到生产。
