SHENYUN · KNOWLEDGE

智能体上线后怎么验收:四个指标和三个停用信号

上线验收通过不等于有人在用。判断智能体是否真的进入日常工作,只需四个指标加三个停用信号:周活跃占比、任务完成率、人工接管率、单任务耗时。本文给出每个指标的口径、阈值、观察窗口与对应动作。

深云原创整理

验收通过了,为什么还不能算成功?

不算。验收只能证明功能跑通,证明不了有人在用。真正的判断点是第三周还有一批目标用户每周主动打开,并且任务能一次做完;只在上线首周出现访问峰、随后掉到个位数的,属于演示成功、使用失败,和产品能力无关。

把「能跑通」和「被用上」拆成两张单子

  • 验收口径:只验功能与权限,半小时内能跑通三个典型任务即视为通过,不在验收里考察使用量。
  • 采用口径:第三周仍有四成以上目标用户每周使用两次以上,才算进入日常。
  • 差异原因:验收由项目组打勾,采用由一线人员用脚投票,两者往往不是同一批人。
  • 记录方式:验收单与使用报表分开归档,避免用验收结论替代采用结论。
  • 责任人:验收由项目负责人签字,采用由业务部门负责人看数,两个签字人不应是同一人。
边界与提醒

场景本身有周期性时,第三周没有使用是正常的。只发生在月末结账、季度盘点、年度招标这类低频节点上的任务,要改看一个完整业务周期内的覆盖次数,按周频判断会得出错误结论。

用哪几个指标判断它到底有没有在被用?

四个就够:周活跃用户占比、任务完成率、人工接管率、单任务耗时。前两个回答「有没有人用、能不能一次做成」,后两个回答「用得顺不顺、比手工快不快」。指标再多,只要没人每周看一次,等于没有。

只留每周都会有人看的四个数

指标怎么算什么情况算异常
周活跃占比当周使用过的人数 ÷ 目标用户数低于 20%,且连续两周下降
任务完成率一次跑完不接人工的次数 ÷ 总调用次数低于 60%,先查知识与提示词
人工接管率转人工或改结果的次数 ÷ 总调用次数高于 30%,按原因分类后再动手
单任务耗时从发起到拿到可用结果的中位时间比手工做还慢,用户会退回原流程
  • 先测基线:上线前把手工完成同一任务的时间与次数记下来,没有基线就没有对比。
  • 写清口径:每个指标的分子分母都要落到字段上,注明统计周期是自然周还是滚动七天。
  • 设触发线:四项各写一条,触发后 48 小时内定责任人,不等季度复盘才处理。
  • 看趋势:单周数字不下结论,连续两到三周的走向才有判断价值。
  • 定看数人:把四个数放进业务部门已有的周会材料里,不新建报表体系。
边界与提醒

这套指标对任务边界清晰的场景有效,对开放型任务会失真。写方案、做行业分析这类任务,一次成型率天然偏低,用同一个 60% 阈值会把正常情况判成故障,应按任务类型分组设线。

人工接管率高,是知识问题还是产品问题?

先看接管发生在哪一步。接管集中在找不到资料、口径答错上,是知识问题;集中在点了没反应、结果格式不对上,是配置与权限问题。两类问题修法完全不同,混在一起改,通常两边都改不好,还拖长周期。

抽会话逐条标注,而不是凭印象判断

  • 抽 20 条被接管会话,逐条标注卡点位置:检索、生成、执行、交付四个环节。
  • 算占比:某个环节超过一半,问题就在那里,先修那一处,别同时动四个地方。
  • 查知识缺口:把答错的问题与现有文档对照,区分是缺文档,还是文档版本过期。
  • 查权限卡点:看失败调用是否因越权被系统拦下,这类要先改权限模型,改提示词无效。
  • 复测同批会话:修完用同一批问题重跑,看接管率是否真的降下来,而不是只换了个说法。
边界与提醒

接管率不可能降到零,也不必追到零。涉及金额支付、对外发布、合同条款的动作,应保留人工复核,这类接管属于设计内的安全边界,不计入异常,否则会为了指标好看而撤掉必要的把关。

上线后六周,每周该看什么、做什么?

前两周看能不能用,第三到四周看顺不顺,第五到六周看能不能复制。三个阶段各有动作,顺序做反——先推广、后修问题——通常会把第一批种子用户赶走,之后再想拉回来要花两倍时间。

六周是经验节奏,不是承诺期限

时间看什么做什么
第 1 周访问人数、首次任务是否跑通每天跟一次,现场解决卡点
第 2 至 3 周周活跃占比、接管率补知识、调提示词、加一次答疑
第 4 周完成率、单任务耗时定下是否扩到第二个部门
第 5 至 6 周复用情况、新场景需求整理可复用配置,评估扩场景
  • 第一周只做一件事:让 10 到 20 名种子用户把真实任务跑完,不允许用演示数据替代。
  • 第三周开一次公开复盘,把接管原因摊给业务方看,避免问题被留在项目组内部。
  • 第四周的扩场景判断看完成率与耗时是否稳住,不看满意度打分。
  • 第六周把配置、提示词、知识切片规则整理成一套可复制的做法,再谈第二个场景。
  • 每次会后更新一次待办清单,写清责任人与完成时间,不做会议纪要式记录。
边界与提醒

六周适用于单场景、单部门的落地。跨部门或需要对接多个业务系统的场景,仅接口联调就可能占去两到三周,按六周考核会把正常进度判成失败,此时应把观察窗口按周顺延,而不是压缩动作。

什么情况下应该停,而不是继续优化?

两种情况该停:目标用户的实际任务每周少于三次,场景本身频率不够;或者修了两轮之后完成率仍在五成以下,说明数据与系统条件不满足。继续投人只是把沉没成本抬高,不会改变结果。

三个停用信号,出现两个就重新评估

  • 使用集中在一个人身上,其他人试过一次就不再打开。
  • 每次使用都需要有人在旁边指导,离开支持就做不下去。
  • 业务方开始用「先放着看看」回应复盘会,说明已不打算继续投入。
  • 算单任务成本:上线至今的总投入(人天与费用)除以完成的有效任务数,与手工方式对比。
  • 留出退路:停之前先把知识与配置整理归档,换场景时可直接复用,不重复建设。
边界与提醒

停不等于废。多数失败场景的资产是可迁移的:知识切片规则、提示词、连接器配置、评测问题集,换到高频场景上通常能省掉一半重复工作,真正浪费的是没人整理就悄悄下线。

要续约或扩场景,需要准备哪几份材料?

三份:使用与效果报告、问题清单与优化计划、可复用资产清单。这三份材料在深云的 FDE 服务页面里是对「持续采用」阶段约定的交付内容,也可以直接拿来当内部立项材料,省掉重新设计汇报框架的时间。

材料是决策依据,不是汇报装饰

  • 使用报告:写清目标用户数、周活跃、完成率、接管率四条曲线,附统计口径与统计周期。
  • 优化计划:列出未解决问题、责任方、预计完成时间,不写「持续优化」这类没有落点的表述。
  • 资产清单:把知识切片规则、提示词、连接器配置、评测问题集逐项列出,标注可否复用。
  • 续约依据:用单任务成本与手工成本对比,而不是用「用得还不错」这种印象。
  • 扩场景依据:用第二个场景的预评估代替乐观推演,评估口径与第一个场景保持一致。
边界与提醒

材料齐不等于该续约。如果使用集中在少数人、业务方也没有第二个场景的真实需求,先把现有场景做稳比扩场景更划算;为了摊薄单价而扩场景,往往会同时拖垮两个场景的使用率。

这些数字该由谁来维护?

由业务方指定一名采用负责人,服务方提供口径与模板。这个人每周花三十分钟更新一次即可,不需要专职。如果内部没人愿意接这个角色,项目多数会在三个月内自然停摆,与工具好坏关系不大。

责任在业务方,工具与服务方

  • 指定角色:采用负责人由业务部门派出,不由 IT 或项目组兼任,避免自评。
  • 定例会:每两周一次,二十分钟,只看四个指标与三条待办,不扩议程。
  • 定升级路径:连续两周低于阈值时,由采用负责人直接向业务负责人提出。
  • 留档移交:负责人变更时,把指标口径与历史数据一并移交,不重新摸索。
  • 对齐服务方:把口径提前给交付方,让对方按同一套指标出报告,避免两套数字打架。
边界与提醒

小团队可以把采用负责人和服务对接人合并成一人,但不要让服务方替自己打分。由交付方统计交付效果,问题通常会被延后暴露,等到发现时往往已过最佳修正窗口。

事实来源

内容说明

本文的判断依据来自腾讯云智能体开发平台的产品与文档说明,以及官网公开的 FDE 服务与 WorkBuddy 交付服务页面;文中指标阈值为经验区间,非效果承诺。

正在评估一个已经上线但用得不多的场景?

深云做企业 AI 生产化交付,可以先一起把这四个指标的口径与基线拉出来,再判断是继续优化还是换场景。

看深云的交付阶段与判断口径