← 返回洞察列表

2026-05-05 / 数据治理

50 万份文档里,最难的是承认「资料里没有」

一个刻意保留错放、重复与冲突信息的企业内部语料基准,把「信息缺失识别」列为独立能力。

EnterpriseRAG-Bench 针对的是一个长期缺位的问题:现有 RAG 基准大多基于公开网页,而企业 AI 真正要面对的是内部知识。论文发布了约 50 万份文档的合成语料,覆盖 Slack、邮件、工单、云盘、CRM、会议记录、代码库等九类来源,并配 500 个问题、十类能力。

把「脏」当成前提,而不是异常

语料刻意加入了放错位置的文档、近似重复件与互相冲突的信息,并让文档之间围绕共同的项目、人员与事项保持关联。问题从单文档查找,一路延伸到多文档推理、带约束检索、冲突消解,以及「判断资料里根本没有答案」。

这对企业内容管理是熟悉的画面:同一份制度有三个副本,旧版还留在共享盘,两个部门的记录互相矛盾。多数内部知识库项目会先花时间把语料「洗干净」再评测,而这个基准反过来主张——脏数据本身就是常态,系统必须能识别并如实说明。

把「信息缺失」列为独立能力尤其关键。一个不会说「资料不足」的助手,会用流畅的语言把猜测补全;在合同、合规、财务场景里,这比检索不到更危险。

论文同时开放了语料生成框架,团队可以按自己的行业与系统组合生成变体。更实用的用法或许是借鉴它的题目分类,为内部验收集补上冲突、重复与无答案这三类,而不是继续用十道演示题检验系统。

本文为 arXiv 论文的中文要点解读与实施延伸,非全文翻译。 参考来源 ↗

看这些想法,在真实工作台里跑起来。