Graph-R1：基于强化学习的智能体图RAG，实现多轮推理
大型语言模型（LLM）彻底改变了自然语言处理领域，然而，它们持续生成不准确或虚构信息（常被称为“幻觉”）的倾向，仍然是需要高事实准确性的应用面临的重大障碍。检索增强生成（RAG）框架通过整合外部知识提供了一种部分解决方案，但传统的RAG系统往往力有不逮。它们通常依赖于检索离散的文本片段，难以捕捉复杂的语义关系。尽管更先进的图RAG（GraphRAG）方法使用结构化知识图谱解决了其中一些局限性，但它们通常会产生高昂的构建成本，缺乏检索灵活性，并且严重依赖冗长的上下文窗口和精心设计的提示词。
为应对这些挑战，南洋理工大学、新加坡国立大学、北京计算机技术与应用研究所和北京安贞医院的合作研究团队共同推出了Graph-R1。这一创新框架代表了向前迈出的重要一步，它采用了一种由端到端强化学习驱动的智能体图RAG方法，以促进结构化的多轮推理。
Graph-R1引入了多项核心创新，使其脱颖而出。首先，它采用了一种轻量级的方法来构建知识超图。与简单的图谱不同，这种超图利用LLM驱动的n元关系抽取来编码概念之间更丰富、语义更扎实的关系。这种方法在保持卓越效率的同时提升了系统的推理能力。例如，构建这种复杂图谱每1000个token仅需2.81美元，耗时仅5.69秒，相较于GraphRAG（3.35美元）和HyperGraphRAG（4.14美元）有了显著改进。尽管效率很高，但生成的图谱在语义上却非常丰富，包含超过120,000个节点和近100,000条边。
其次，Graph-R1具有复杂的、多轮次的智能体式检索过程。该系统并非进行单一的静态检索尝试，而是将知识检索建模为一个迭代的“思考-检索-再思考-生成”循环。这种动态交互使AI智能体能够自适应地查询和完善其知识路径，探索超图直至确定最相关的信息。该过程通过结合排名机制智能地融合了基于实体的检索和超边检索，显著提高了精确定位最相关知识的可能性。
最后，Graph-R1通过端到端强化学习，特别是通过组相对策略优化（GRPO），优化其整个操作。这种统一的训练方法整合了对输出格式的一致性、检索信息的关联性以及整体答案正确性的奖励。通过这种全面的奖励机制引导智能体，Graph-R1发展出可泛化的推理策略，这些策略与底层知识结构和生成输出的质量紧密对齐。这意味着系统不仅因正确答案而获得奖励，而且因通过结构有效且逻辑合理的推理路径得出答案而获得奖励。
实证评估突显了Graph-R1的卓越性能。在包括2WikiMultiHopQA和HotpotQA在内的六个标准问答数据集上进行基准测试，Graph-R1使用Qwen2.5-7B模型取得了57.82的平均F1分数。这一数字大大优于所有以前的基线，相较于NaiveGeneration（13.87）、StandardRAG（15.89）、GraphRAG（24.87）和HyperGraphRAG（29.40）等方法展现出巨大的改进空间。研究还表明，利用更大的基础模型可以进一步放大这些性能增益。
消融研究（旨在测试每个组件的必要性）证实，移除Graph-R1的任何核心模块——无论是超图构建、多轮推理还是强化学习优化——都会导致性能急剧下降，从而验证了每项创新的关键作用。此外，Graph-R1的检索过程不仅更有效，而且更简洁高效。它在每次交互中以约1,200至1,500个token的适中平均内容长度实现了高F1分数，平均支持2.3到2.5个交互轮次，以实现稳定准确的知识抽取。在生成成本方面，Graph-R1保持了最小的开销，每次查询响应时间为7.0秒，并且每次查询的成本几乎为零，显著优于HyperGraphRAG等竞争对手（其每次查询成本为8.76美元，耗时9.6秒）。
在对生成质量的七个维度（包括全面性、正确性、相关性和逻辑连贯性）进行评估时，Graph-R1始终优于所有其他基于强化学习和基于图的基线，在正确性（86.9）、相关性（95.2）和连贯性（88.5）方面取得了最高分。通过对分布外设置进行交叉验证，其泛化能力也得到了有力证明，在这些设置中它保持了强大的性能，通常超过其分布内比率的85%，这凸显了其在不同数据集上的适应性。
Graph-R1的理论基础进一步揭示了其有效性。信息论分析表明，与传统的基于块的方法相比，其图结构化知识每次检索提供更高的信息密度，并能更快地收敛到正确答案。多轮交互使智能体能够通过动态聚焦于图中的高影响力区域来提高检索效率。最后，端到端强化学习优化有效地弥合了结构化图证据与自然语言生成之间的差距，从而降低了输出熵和错误率。
通过整合基于超图的知识表示、智能体式多轮推理和端到端强化学习，Graph-R1在事实问答性能、检索效率和生成质量方面取得了前所未有的提升。该框架为开发下一代智能体式和知识驱动的LLM系统描绘了一条充满希望的道路，特别是在医疗、法律和企业知识自动化等复杂、知识密集型领域，这些领域对事实准确性和透明推理至关重要。