EnterpriseRAG-Bench 针对的是一个长期缺位的问题:现有 RAG 基准大多基于公开网页,而企业 AI 真正要面对的是内部知识。论文发布了约 50 万份文档的合成语料,覆盖 Slack、邮件、工单、云盘、CRM、会议记录、代码库等九类来源,并配 500 个问题、十类能力。
把「脏」当成前提,而不是异常
语料刻意加入了放错位置的文档、近似重复件与互相冲突的信息,并让文档之间围绕共同的项目、人员与事项保持关联。问题从单文档查找,一路延伸到多文档推理、带约束检索、冲突消解,以及「判断资料里根本没有答案」。
这对企业内容管理是熟悉的画面:同一份制度有三个副本,旧版还留在共享盘,两个部门的记录互相矛盾。多数内部知识库项目会先花时间把语料「洗干净」再评测,而这个基准反过来主张——脏数据本身就是常态,系统必须能识别并如实说明。
把「信息缺失」列为独立能力尤其关键。一个不会说「资料不足」的助手,会用流畅的语言把猜测补全;在合同、合规、财务场景里,这比检索不到更危险。
论文同时开放了语料生成框架,团队可以按自己的行业与系统组合生成变体。更实用的用法或许是借鉴它的题目分类,为内部验收集补上冲突、重复与无答案这三类,而不是继续用十道演示题检验系统。
