评测集是企业 AI 应用上线后可反复执行的质量尺子。本文按 FDE 项目推进顺序，回答评测题从哪里来、标准答案谁来定、三种评分方式怎么分工、什么阶段必须冻结封存、封存后谁能改、上线后多久跑一次。
评测集是一批固定的问题、标准答案和评分规则的组合，评的是应用每次改动之后质量有没有倒退；试点验收是上线前的一次性判断，只代表验收当天。两者不能混用：混用的结果是验收通过之后没有人再管质量。先把验收和评测分开，后续改模型、改提示词、改知识库才有统一的比较基准。
如果项目还停在原型阶段、没有真实用户问法积累，先别急着建评测集：开发人员凭空编的题测不出真实使用问题，先安排一到两周真实试用再抽题，代价是多等几天，换来的是题目贴近实际场景。
题目只能来自真实业务，不能靠开发人员自编。可用来源包括历史工单、客服和内部答疑会话记录、业务系统里的常见查询，以及业务负责人最担心的出错场景。首批经验值是 80 到 150 条，其中边界题和风险题合计不少于三成；这是经验区间不是效果承诺，具体数量按场景复杂度调整。
| 题目类型 | 题目来源 | 建议占比 | 主要用途 |
|---|---|---|---|
| 高频题 | 历史工单与会话记录中出现最多的问法 | 约五成 | 保证日常主路径回答不倒退 |
| 边界题 | 材料缺失、超出时间范围、权限不足的问法 | 约两成 | 验证应用会不会编造答案 |
| 风险题 | 涉及承诺、价格、数据合规敏感内容的问法 | 约一成半 | 验证拒答和人工转接是否触发 |
| 新题储备 | 每月从新会话补充进来的真实问法 | 持续累积 | 替换过时题目保持覆盖度 |
如果企业没有留存历史会话或工单，这些来源就用不上，只能先做一到两周的人工记录期，把用户真实问法逐条记下来再抽题；跳过记录直接自编，评测通过率和真实表现会明显脱节。
标准答案必须由业务方确认，工程侧只保证可复现，这个分工不能倒过来：工程侧定的答案往往只验证了能生成，验证不了答得对。每条答案都要写来源文档和版本号，知识库更新时能顺着来源定位该改哪条题。答案口径有分歧的题，要么删除要么标注为人工复核题，不留模糊答案。
业务负责人抽不出人逐条确认时，可以按风险分级：风险题逐条确认，高频题抽样确认两成，边界题由业务方出题；完全跳过业务确认的评测集，验收时业务方一句答案不对就能推翻整轮结果，前面工程侧的工夫全部白费。
三种评分方式不是三选一，而是分层使用。规则打分适合判断格式、是否拒答、有没有命中关键词这类可程序化判定的项；裁判模型打分适合判断回答质量；人工复核留给风险题和分歧题。腾讯云 ADP 的评测能力同时支持裁判模型打分、代码打分和规则打分，可以按题目类型组合配置。
| 评分方式 | 适合评什么 | 局限与对策 |
|---|---|---|
| 规则打分 | 格式是否正确、该拒答的是否拒答、关键词是否命中 | 评不了语义质量，只当第一道筛子 |
| 裁判模型打分 | 回答是否切题、是否忠实于来源文档 | 对专业口径可能有偏差，需抽样人工校准 |
| 人工复核 | 风险题、分歧题、涉及承诺与数据的回答 | 成本高，只留给约一成高风险题目 |
全靠裁判模型打分时，专业领域的口径偏差可能被系统性掩盖，上线前至少抽一到两成评测结果做人工比对，确认裁判模型的评分和业务方判断一致之后，再批量使用它的打分结果。
至少四个时点要冻结：灰度发布前、每次版本升级前、验收签字前、续约或扩场景评估前。冻结的含义是题目、答案、评分规则三者都不再改，此后所有测试结果和这一版比。评测集一改，前后数据就不可比：通过率上升可能只是题目变简单了，这就是必须封存的原因。
冻结不等于永不更新：知识体系大改、业务口径调整之后，旧题目会失效，此时应另存新版本并注明换代原因，新旧两版各跑一次做衔接对比，而不是直接覆盖旧版，导致历史数据失去参照。
评测集属于企业资产，应存放在企业自己控制的位置，而不是只留在服务方的工程环境里。深云公开的 FDE 页面把评测集和安全边界、人工复核机制一起列为项目沉淀的评测与治理资产。管理上做到三点：单点管理人、只读权限加审批变更、每次变更留记录，做到任何人改题都有据可查。
如果评测集只存在服务方环境、企业手里没有副本，服务合同结束后企业既没法复跑也没法举证质量变化，更换供应商时这批资产也带不走；导出和移交要在合同里写明，不要等项目收尾才补办。
用，而且频率比多数项目预想的高。三类时机必须跑：改模型或提示词后、大批量更新知识库后、扩新场景复用评测标准前。日常更新按月做：从新增会话抽真实问法补充题库，替换过时题目。腾讯云的智能工作台已支持根据历史对话记录自动生成评测集并调用裁判模型打分，月度更新的人工成本可控。
只在出问题时才跑评测集的团队，往往在问题发生一周之后才发现质量倒退，而且无法定位是哪一次改动引入的；按上述节奏固定跑，才能把质量变差从用户投诉变成上线前的数据预警。
事实来源含官网 FDE 服务页与腾讯云官方文档；文中条数、比例、阈值均为经验值，不是效果承诺。
深云做企业 AI 生产化交付，可以先给一版场景判断与实施路径，再决定要不要做。
了解深云的交付方式