知识库智能体怎么选：四个判断先于方案比较

选知识库智能体，第一步该判断什么？

先判断知识是什么形态，而不是先看产品。四类形态对应四种接法：结构化表格走字段查询，长文档走切片检索，问答对走直接匹配，系统实时数据则根本不该进知识库、应走接口。形态判断错了，后面的选型和调优基本是白做，这也是项目返工最常见的原因。

先看知识长什么样，再看产品长什么样

• 结构化数据：表格、台账、价目表，适合按字段精确查询，不适合切片检索。
• 长文档：制度、手册、方案，适合按段落切片，需处理标题层级与跨段引用。
• 问答对：客服话术、常见问题，适合直接匹配，但需定期清理过期条目。
• 实时数据：库存、工单、项目进度，应走接口查询，进知识库必然过期。
• 判断方法：抽 20 条真实问题，看答案分别来自哪类材料，来源分布决定接入重点。
• 覆盖缺口：盘点时统计有多少问题在现有材料里找不到答案，这部分缺口不能靠调优补齐，只能补文档。

四类知识形态，各自该怎么接？

接法差异很大：结构化数据要建字段映射与查询意图识别，长文档要做层级切分并保留上下文，问答对要做去重与版本管理，实时数据要定义接口与缓存策略。用同一套切片参数处理四类材料，是最省事也最不可靠的做法，效果通常在第二周就开始下滑。

接法不同，验收标准也不同

答案精度要求怎么定？它影响什么？

精度要求决定要不要建评测。如果只是内部检索参考、答错可由人复核，重点放在召回率即可；如果答案直接对外或进入流程，错一次就有实际代价，那就必须建评测集并设置拒答机制。宁可拒答也不要乱答，这条规则要在上线前就写进产品行为里。

先定错一次的代价，再定精度目标

• 内部参考型：答错成本低，目标是召回覆盖，允许标注不确定。
• 流程嵌入型：答案进入工单、报价、审批，必须有拒答与人工复核。
• 对外输出型：直接给客户看，需评测集加抽样人工复核双保险。
• 判断型问题：涉及取舍与建议，不宜由知识库直接回答，应转人工。
• 目标设定：按事实型、流程型、判断型三类分别设目标值，不用单一准确率。

知识库的权限要隔到哪一层

至少三层：文档级（谁能打开这份文件）、段落级（同一文件里哪些段落受限）、引用级（回答里能不能带出受限内容）。多数方案只做到文档级，一旦文件里混排了薪酬、合同条款这类内容，答案就会在无意中把不该说的部分带出去。

段落级隔离最容易被漏掉

• 文档级：按目录或标签授权，实施成本低，适合边界清晰的资料库。
• 段落级：同一文件内按段落打标，需先做内容分类，成本较高但覆盖混排场景。
• 引用级：回答中的引用片段需二次过滤，避免带出受限原文。
• 留痕：谁在什么时候问了什么、系统引用了哪些内容，需可回溯。
• 测试方法：用低权限账号问一个只有高权限才能看的问题，看系统是否拒答。

更新频率高的知识怎么处理？

分两类：变更可预期的（制度、价目、组织架构）用定时同步，并在每次变更时手动触发一次；变更不可预期的（项目进展、库存、工单状态）不该进知识库，应走接口实时查询。把高频变动的数据塞进知识库，是答案过期最主要的原因，且很难通过调优解决。

会变的和不会变的，要分开处理

• 低频变更：制度、规范类，按月同步，变更时手动触发。
• 中频变更：价目、产品参数，按周同步，需记录版本与生效日期。
• 高频变更：库存、工单、进度，走接口，答案中标注数据时间。
• 过期处理：设置失效期，到期未确认的内容自动从检索范围移除。
• 责任人：每类知识指定一名内容责任人，同步机制由服务商维护，内容对错由责任人负责。

怎么验证检索效果？

建一个 50 到 100 条的真实问题集，覆盖三类问法：直接问、换说法问、跨文档问。每次调整后跑一遍，记录命中位置与答案正确性。只看演示时的那几个问题没有意义，因为那些问题通常是照着文档原文出的，真实用户不会那样提问。

测试集必须包含问不准的问法

1. 直接问：用文档里的术语提问，验证基础召回。
2. 换说法问：用口语、简称、错别字提问，验证语义匹配。
3. 跨文档问：答案分散在两份材料里，验证多段拼合能力。
4. 越权问：低权限账号问受限内容，验证隔离是否生效。
5. 记录方式：每条记命中段落、答案是否正确、是否正确拒答，三项分开统计。
6. 回归机制：每次调整切片或更换模型后，用同一套问题集重跑，防止修好一类问题同时弄坏另一类。

选型常见误判有哪些？

三个：把文档上传量当成接入完成度、把演示效果当成上线效果、把产品功能表当成交付能力。前两个是评估方法的问题，第三个是把对象搞错了——知识库效果大约七成取决于知识与规则的质量，三成取决于产品本身，只比功能表等于只比了三成。

三个误判，都是把过程当结果

• 上传量当完成度：接入 5000 份文档但没做切片与更新，效果不如 200 份高质量文档。
• 演示当上线：演示用的是整理过的数据，上线面对的是混乱的真实文档。
• 功能表当能力：功能列表趋同，差异体现在权限模型、引用溯源与切片策略上。
• 忽略运营：上线后无人维护知识，三个月内效果必然下滑。
• 忽略口径：同一指标不同定义，答案前后矛盾，用户信任一次性崩塌。