Spotify工程团队研究LLM能否替代A/B测试中的人工结果

Spotify工程团队发布研究，讨论大语言模型能否用于预测A/B测试中的人工结果。

文章以Upworthy相关实验为案例，比较LLM预测与人工参与者反馈之间的关系，研究模型输出在实验评估中的可用范围。

Spotify指出，LLM预测可以在特定假设下代替部分人工结果，但这种替代并非由模型设计天然保证，实验目标、数据和验证方式仍会影响结论。

来源：Spotify Engineering，发布时间：2026年8月14日。