AWS发布监督式微调数据准备系列第二篇，聚焦高级数据策略。
文章介绍使用学习曲线评估数据准备程度、筛选高价值样本、通过合成和蒸馏生成补充数据，以及混合不同来源的数据以降低灾难性遗忘风险。具体数据比例和评估指标需要结合模型、任务和训练预算确定。
来源：AWS Machine Learning Blog，发布时间：2026年8月26日。
学习曲线可以帮助判断继续增加样本是否还带来稳定收益：在固定评估集和相同训练条件下逐步增加数据量，观察目标指标是否改善、趋平或回退。若表现停滞，问题可能不是样本总数不够，而是高价值案例缺失、标注标准不一致或任务定义本身不清楚。
筛选“高价值样本”时，应看它是否覆盖真实错误类型和边界情况，而不是只挑语言流畅或模型容易回答的记录。合成数据和蒸馏数据可补足稀缺场景，但必须抽样核对事实、答案多样性和标签质量；如果教师模型的系统性偏差被批量复制，数据量越大也可能把偏差固化得越深。
混合新旧任务数据有助于降低模型只适应单一目标的风险，但比例没有通用答案。每次调整数据配比后，要分别评估新任务指标、旧能力保持情况和安全边界，并防止评估题目泄漏到训练集。本文介绍的是可实验的策略，不是适用于所有模型的固定配方。
如果还需要先检查训练样本的JSONL结构、对话角色和数据质量，可回看系列第一篇：监督式微调数据的格式与质量。
