企业RAG知识库上线前怎么测？不要只问“它能不能回答”

企业AI知识库做完以后，最常见的验收方式是找几个人随手问十几个问题，感觉回答“挺像那么回事”就上线。这种方法无法证明系统在真实业务里可靠。

先把检索和回答分开测试

RAG通常至少包含两个阶段：先从知识库找到相关资料，再让模型根据这些资料生成回答。

如果最终答案错了，要先判断是“根本没检索到正确资料”，还是“资料找对了但模型理解错了”。

把两个问题混在一起，很难知道应该调Embedding、切分、排序还是Prompt。

建立一套真实问题集

测试问题应该来自客服记录、销售咨询、内部SOP、培训问答和真实业务场景，而不是开发人员临时想到的问题。

问题集里既要有简单事实题，也要有跨文档问题、同义表达、条件限制和容易混淆的问题。

每个问题最好记录预期答案以及能够支持答案的资料来源。

检索层要看“有没有把正确资料找回来”

OpenAI官方Retrieval文档说明，语义检索可以找到字面词不完全相同但语义相关的内容，也支持调整Ranking和Score Threshold。

所以检索评估不能只看Top1。

可以记录正确文档是否进入Top3/Top5、无关片段比例、相似术语是否误召回，以及阈值变化后的结果。

答案层要看正确性和证据

答案语言流畅不代表正确。

企业知识库至少要检查关键事实是否与原文一致、有没有捏造不存在的政策、数字和流程，以及引用的资料是否真的支持当前结论。

高风险场景可以要求回答同时返回证据来源，方便人工复核。

必须测试“应该不知道”的问题

真正可靠的知识库不只是会回答，也要会拒绝。

测试集中应加入资料库里不存在答案的问题、超出员工权限的问题以及故意误导的问题。

如果系统遇到任何问题都强行生成答案，所谓“回答率很高”反而可能意味着幻觉更严重。

权限也属于评估

如果不同部门、客户或员工拥有不同资料权限，测试时必须验证A用户是否能够通过提问间接得到B用户的资料。

检索层的Metadata Filtering、应用权限和最终答案都应该保持同一权限边界。

模型或Prompt升级后要回归

模型升级、Prompt修改、重新切分文档或更换Embedding，都可能改变之前已经通过的结果。

因此问题集不应该只使用一次，而应该成为持续Regression Test。

OpenAI当前官方资料也持续强调使用数据集和评估流程测试模型输出，而不是单纯依赖人工感觉。

上线指标不要只写准确率

可以同时观察检索命中率、答案正确率、引用正确率、拒答正确率、权限泄露次数、响应时间和人工接管率。

不同业务的权重不同，例如内部文档助手和售后客服不能使用完全相同的验收标准。

资料依据

OpenAI Developers《Retrieval》与《File search》关于语义检索、Ranking、Metadata Filtering等机制的说明。

OpenAI Developers关于Datasets/Evaluations的官方资料，用于持续测试模型输出是否符合预设标准。

结论

RAG知识库真正的验收不是“AI能说话”，而是正确资料能被找到、答案有依据、不知道时会拒答、权限不会泄露，并且系统升级后仍能稳定通过同一套测试。