2401.15391.md

背景

• 背景
  该论文提出，大型语言模型（LLM）的应用前景在智能聊天机器人和其他自然语言处理应用方面备受期待，并可通过检索增强生成（RAG）进一步优化。RAG通过引用一个外部的知识库来提高LLM的响应质量，同时减少幻觉发生，但现有RAG系统在处理需要多步检索和推理的复杂查询问题上表现不足。

• 已有的工作 现有的RAG基准测试，如RGB和RECALL，主要评估简单的案例，即能够通过检索单一证据来获取和解决查询的情形。这些基准测试没有评估LLMs在处理复杂多步查询中的检索和推理能力。

核心贡献

• 提出了一个名为MultiHop-RAG的数据集

  • 挑战1：处理多步查询的RAG系统不足 现有的RAG系统在检索和回答需要多个证据支撑的多步查询时，表现不尽人意。论文通过构建一个专门面向多步查询的新数据集，推动了RAG系统在这方面的基准测试和发展。

  • 挑战2：缺乏针对多步查询的基准数据集 此前没有专门针对多步查询的RAG基准数据集。通过开发MultiHop-RAG数据集，研究者们完善了这一领域的基准，该数据集包含了基于新闻文章构建的知识库、大量的多步查询、真实答案以及相应的支持证据。

实现与部署

论文通过两个实验来展示MultiHop-RAG作为基准测试工具的能力，首个实验比较了不同嵌入模型在检索多步查询证据时的性能，第二个实验则评估了包括GPT-4、PaLM和Llama2-70B在内的多个最先进的大型语言模型处理多步查询时的推理和回答能力。结果显示，目前的RAG实现在检索和回答多步查询方面表现欠佳。研究者们公开了这一挑战性数据集，并希望它将成为社区开发和评估RAG系统的宝贵资源，从而释放生成性AI在实践中的巨大潜力。

总结

这篇论文开发了MultiHop-RAG数据集，以评估和改善现存的检索增强生成（RAG）系统在处理需要多步检索和推理的查询上的不足。研究还提供了一系列实验结果，揭示了目前RAG系统在此类任务上的局限性，并公开了数据集推动进一步的研究和开发。