腾讯云 ADP · 知识库

知识库切片该切多大?哪些文档不能整篇入库

知识库切片该切多大,取决于文档长度、主题密度和召回参数。这篇从平台上限、重叠比例、父子级切分、表格处理和召回测试五处,给出可对照的判断口径与能直接执行的动作。

知识库切片文档切分知识库召回

知识库里的文档该整篇入库,还是先切碎再入库

按文档长度分档处理。5000 个汉字以内的制度、流程、FAQ 类文档,整篇入库更完整;超过 1 万个汉字、且含 3 个以上互不相关主题的手册,要先按标题层级拆开。整篇丢进知识库的长文档,检索只能命中其中一段,答案常常缺前半句。

先按长度和主题数分档

  • 把知识库文档按字数分两档:5000 个汉字以内一档,1 万个汉字以上一档,分别定处理方式
  • 查长文档里是否含 3 个以上互不相关的业务主题,含就按章拆成独立文件再入库
  • 给每份文档写一句它要回答的问题,写不出具体问题的说明主题太散
  • 拆完按部门、场景、版本三段命名,后面定位召回问题时能追溯到源文件
边界与提醒

如果整库都是 1 至 2 页的产品卡或短问答,强行按主题拆只会割裂上下文,文档数量还翻倍;代价是每次改版要同步多份,反而不如整篇入库。上述字数是经验区间,不是验收标准。

切片长度设多少合适,平台有没有硬上限

有硬上限。通用标识符切分的切片最大长度不超过 4800 个字符,父子级切分里的子级切片最大 1500 个字符。业务上把单片控制在 500 至 800 个汉字,一个切片只讲一件事;超过 1200 个汉字就开始混入邻段内容,检索精度随之下降。

先看平台上限,再定业务区间

单片长度(经验值)适合的文档要留意的代价
300 至 500 个汉字制度条款、常见问答、操作步骤上下文偏短,要靠重叠补断句
500 至 800 个汉字流程规范、方案说明单主题最稳,建议作为起点
800 至 1500 个汉字技术手册单章、参数说明容易混入邻章内容,需重排序兜底
超过 1500 个汉字整章或整篇入库命中片段过长,token 消耗上升
  • 把候选切片长度统一设成 800 个汉字,跑一轮召回再决定往哪个方向调
  • 抽 20 个切片逐条检查是否只讲一件事,混主题的继续往下拆
  • 算一次成本账:切片越长,单次召回带进模型的上下文越贵
边界与提醒

如果文档是合同条款或法规条文,500 个汉字可能切断一条完整条款,此时宁可按 1000 个汉字放宽并加重叠;代价是召回时带进更多无关条文,得靠匹配度阈值把噪声挡住。

切片重叠要不要设,设多少不算浪费

只在按长度切分时需要设重叠,起点取最大长度的 10%,平台允许的上限是该长度的 25%。跨段引用多的合同、标准条款取 15% 更稳;纯问答型文档可以不设,因为一条问答本身就是完整语义单元,加了只是重复。

重叠只为补断句,不为多召回

  • 先把重叠长度设成最大长度的 10%,再抽 10 个切片看首尾是否出现半句话
  • 查切片边界有没有切断表格行、步骤编号、条款序号,断了就把重叠提到 15%
  • 算重叠的存储代价:25% 重叠约等于切片总量多出四分之一
  • 把重叠比例写进知识库交付说明,换人接手时不必从头试一遍
边界与提醒

重叠只能解决句子被切断,解决不了主题混杂;如果一份文档三件事挤在一段里,加到 25% 也只是把无关内容重复两遍,代价是检索噪声和调用成本一起上升。

制度手册这类长文档,用父子级切分能解决什么

它把检索单元和生成上下文分开:子级切片负责被问题命中,命中后召回对应父级切片交给模型。子级最大可设 1500 个字符,父级可到 4800 个字符。适合有章节结构、且答案依赖整章上下文的制度手册和作业规程。

子级管命中,父级管上下文

切分方式检索命中单元交给模型的上下文适用文档
默认切分模型自动切出的片段同一片段结构规整、无特殊要求的文档
通用标识符切分按标识符切出的片段同一片段要按页、按条款、按自定义符号切
父子级标识符切分子级切片命中的父级切片答案依赖整章上下文的长文档
  • 先把手册按一级标题切成父级,再按小节切成子级,看子级是否只含一个判断
  • 查子级长度有没有超过 1500 个字符,超了就继续拆,平台不接受
  • 拿 5 个跨章节的问题测,看召回的是父级整章还是孤立片段
边界与提醒

代价是 token 消耗明显上升,父级越大单次调用越贵;如果知识库里多是 1 至 2 页的短文档,父子级只增加配置复杂度,收益基本看不出来。

价格表、SKU、参数表这类表格文档该怎么切

表格不能按段落切。ADP 把 xlsx、xls、csv 归到按行切分,表头范围最多 5 行,每个切片都带表头数据。每行独立、行间无关联的价目表和 SKU 表适合按行切;需要跨行汇总的报表交给默认切分或 Excel 检索增强。

表头跟着行切,别让模型猜列名

  • 先把表头范围设成 1 至 3 行,确认每个切片都带着列名
  • 查表里有没有合并单元格、隐藏列,解析前先清理成一行一记录
  • 把切分起始行设到数据首行,避开标题行和说明文字
  • 抽 10 行看切片内容,出现列名缺失就回头改表头范围
边界与提醒

按行切的代价是丢掉跨行计算能力,问某类产品全年合计这类问题时,单行切片答不出来;这类需求该走数据库查询或 Excel 检索增强,而不是靠调整切片硬扛。

切分规则改了,已经入库的文档要不要重新切

要。规则一改,系统就按原文档重新切分,并覆盖之前的人工干预结果。所以顺序是先在小样本上试新规则,确认命中质量再全量重切;已经被人工修过的切片,重切前先导出留底,否则改动找不回来。

先小样本验证,再全量重切

  • 先挑 5 至 10 份代表性文档试新规则,不要一上来就全库重切
  • 把人工改过的切片导出备份,平台说明修改或删除切片会直接改写文档内容
  • 重切后用同一批 20 个问题跑召回比对,看命中片段对不对得上原文
  • 把切分规则、重叠比例、表头范围记进交付文档,标上改动日期
边界与提醒

全量重切要消耗解析与向量化资源,文档量上千份时应分批做并挑业务低峰;如果知识库正被线上应用读取,重切期间召回结果会短暂变化,需提前告知使用方。

怎么判断切片切得对不对,而不是凭感觉

用同一批真实问题跑召回测试,看命中的片段里有没有答案原文。平台文档召回数量默认 5、最大 20,检索匹配度默认 0.2、最高 0.99。排查时先把召回数量调到 10 看全貌,再逐步收紧匹配度,别一开始就卡阈值。

用召回测试代替主观判断

现象大概率原因先动哪个参数
答得对但不全切片切断了上下文重叠比例或父子级切分
答非所问切片里混了多个主题切片长度与切分标识符
该答的说不知道匹配度阈值偏高检索匹配度下调再看
召回内容重复重叠过高或文档重复入库重叠比例与文档去重
  • 准备 20 个真实问题,其中至少 5 个跨章节问题、5 个表格查询
  • 把每次测试的命中片段存档,作为下一轮对比的基线
  • 统计答对、答偏、答不全三类占比,再决定改切分还是改参数
边界与提醒

召回测试只验证找没找到,不验证模型会不会用;如果片段命中正确而答案仍旧错,问题在提示词或模型选择,继续调切分是白费力气。

知识库已经切坏了,怎么低成本补救

先分诊再动手。把问题拆成没召回和召回了但答错两类:前者动切分与召回参数,后者动提示词与模型。多数答不准是召回数量与匹配度没调,或切片混了主题,不是模型能力不够,所以不必推倒重建。

先分诊,再决定重切还是调参

  • 列一张问题清单,按没召回、召回错、答偏三类各记 5 个例子
  • 先只调匹配度和召回数量跑一轮,看三类问题各减少多少
  • 再挑 3 份命中最差的文档单独重切,不整库推倒
  • 把深云在 ADP 服务页列出的知识分类、检索与来源、知识治理三项当验收清单对照
  • 留一份改动前后对照,续约或交接时能说清做了什么
边界与提醒

如果原始文档本身过期或写错,重切只是把错误切得更整齐,这类要先修文档源头再谈切分参数;反过来,文档正确但切分与召回没调,重写文档也不会改善答案。

事实来源

内容说明

文中切片长度、重叠比例、验证问题数量均为经验区间,不是效果承诺;平台参数与功能入口以腾讯云 ADP 官方文档为准,产品能力可能随版本调整。

需要评估这类场景的落地路径?

深云做企业 AI 生产化交付,可以先给一版场景判断与实施路径,再决定要不要做。

了解深云的交付方式