Spotify工程团队发布研究，讨论大语言模型能否用于预测A/B测试中的人工结果。
文章以Upworthy相关实验为案例，比较LLM预测与人工参与者反馈之间的关系，研究模型输出在实验评估中的可用范围。
Spotify指出，LLM预测可以在特定假设下代替部分人工结果，但这种替代并非由模型设计天然保证，实验目标、数据和验证方式仍会影响结论。
来源：Spotify Engineering，发布时间：2026年8月14日。
A/B测试要回答的是“真实用户看到不同版本后，行为是否发生变化”。语言模型可以根据已有材料预测参与者可能如何反应，但这种模拟结果并不会自动成为真实实验结果。模型可能熟悉某种表达，却不代表它能代表目标市场、特定年龄群或某个时点的用户群体。
如果把LLM用于筛选文案或估计实验方向，应先保留一批真实历史实验作为对照：只用实验前可获得的信息让模型预测，再比较预测排序与真实结果是否一致，并按内容类别检查误差。不能把同一批数据既用于调整提示词又用于证明预测准确，否则会高估效果。对涉及价格、健康、安全或用户权益的改动，更不能用模型模拟替代真人验证。
因此，Spotify所讨论的是在特定假设、数据和验证条件下，模型能否预测部分人工结果。实务上更稳妥的定位是减少低价值候选方案、帮助设计下一轮实验，而不是取消随机分组、样本量规划和统计检验。是否可用，应以目标业务自己的历史数据和持续校准结果为准。
