当前位置:首页 > 科技资讯 > 正文

BGE-Reasoner引领推理密集型信息检索新时代

人工智能的浪潮正将我们推向一个由 RAG 和 AI Agent 定义的新时代。然而,要让这些智能体真正智能,而非仅仅是信息的搬运工,就必须攻克一个横亘在所有顶尖团队面前的核心难题。这个难题,就是推理密集型信息检索(Reasoning-Intensive IR)

它不仅是当前 RAG 和 AI Agent 技术发展的关键瓶颈,更对大模型智能体和深度研究(DeepResearch)等应用场景的成败具有决定性意义。

正当全球研究者都在为此寻求突破之际,我们看到了一项来自中国的贡献:BGE-Reasoner

BGE-Reasoner 是由来自中国科学技术大学、智源研究院、北京邮电大学与香港理工大学等机构的联合团队研发,是一套用于推理密集型信息检索任务的创新的端到端解决方案。通过系统性的查询理解、向量检索与重排序,该方案可显著提升搜索引擎在推理密集型信息检索任务中的表现。

在权威评测基准 BRIGHT 上,BGE-Reasoner 取得 45.2 的测试得分,以显著优势刷新了该基准的最佳纪录。

作为 BGE 系列模型的又一重要里程碑,BGE-Reasoner 不仅实现了性能上的突破,更为解决推理密集型检索这一行业难题提供了一套行之有效的新范式。从技术洞察来看,本次成果的核心创新主要体现在以下三个方面:

  1. 模块化框架:提出了一个由 Rewriter、Embedder 和 Reranker 组成的三阶段框架,为处理复杂查询提供了清晰、高效的工程范式。
  2. 数据驱动创新:探索并证明了利用大模型合成高质量、多领域推理训练数据的可行性,解决了该领域训练数据稀缺的核心瓶颈。
  3. 强化学习赋能:成功将强化学习应用于 Reranker 训练,让模型在面对困难样本时具备了更强的推理和泛化能力。

相关模型权重、训练代码及训练数据即将面向社区开放,进一步推动该领域的研究与应用发展。

项目主页:https://github.com/FlagOpen...

简介

推理密集型信息检索(Reasoning-Intensive IR)是近年来兴起的一类新型信息检索任务。与传统检索不同,它不仅依赖语义匹配,还需要综合运用深层逻辑推理、多步语义链及相关背景知识,才能在查询与目标文档之间建立起正确的语义关联。

为推动该领域研究,香港大学、普林斯顿大学和斯坦福大学联合提出了首个面向推理密集型检索的权威评测基准 BRIGHT。该基准汇集了来自 StackExchangeLeetCode数学竞赛等领域的真实查询,并将其与需要多步推理才能识别的相关文档进行配对,用于评估检索系统在复杂推理场景下的能力。

在 BRIGHT 基准下,传统依赖关键词匹配或简单语义相似度的方法往往难以定位真正相关的目标文档,暴露出当前检索系统在复杂推理场景中的不足。因此,如何在推理密集型检索中提升系统性能,成为推动检索增强生成(RAG)在复杂推理任务中发展的关键问题。

BGE-Reasoner引领推理密集型信息检索新时代 BGE-Reasoner 推理密集型信息检索 人工智能 技术创新 第1张

图 1. 不同于基于关键词和直接语义匹配的检索任务,BRIGHT 评测基准关注于推理密集型场景下的检索任务

...(省略部分原文内容)...