-
背景
文章指出,多跳问答是一个知识密集型复杂问题。大型语言模型(LLMs)通过他们的思路链(CoT)能力逐步推理复杂问题,检索增强可以有效减少因为旧知识和未知知识导致的事实错误。最近的工作将检索增强引入CoT推理来解决多跳问答问题。然而,这些链式方法有如下问题:1)检索到的无关段落可能会误导推理过程;2)链式结构中的错误可能导致错误的连锁反应。 -
已有的工作 现有工作提供了一次性检索方法,但针对多跳问题,需要更细致的方法来获取全面的知识。迭代检索涉及多轮检索,每轮都由新生成的子问题引导。这些方法虽然比一次性检索表现更好,但链式的过程易于发生错误累积。这突出了迭代检索方法固有的脆弱性,并且是实现可靠知识提取的关键挑战。
- 提出了一个动态检索框架叫做 TREE OF REVIEWS (TOR)
-
挑战1:如何减轻无关信息对推理过程的误导 文章引入树形结构来分别处理每个检索到的段落,减少无关段落对推理路径的误导效应,不同推理路径的扩展多样性减少了单个推理错误对整体的影响。
-
挑战2:如何优化迭代检索的效率和质量 文章提出两种基于树的检索优化策略:剪枝和有效扩展,这显著提高了检索质量和效率,为优化迭代检索方法提供了宝贵的见解。
-
...
-
文章中提到,TOR框架在三个不同的多跳问答数据集上进行了实验,结果展示TOR在检索和反馈生成方面均达到了最先进的性能,表明其有效性。通过剪枝策略减少无用搜索的启动频率,通过有效扩展策略优化查询生成以改善检索段落,论文中宣称这些策略在提高检索质量和效率方面显示出了明显的改进。
论文提出了一种新的迭代检索框架TOR,它采用树形结构减少错误累积,并引入优化策略提高检索效率和质量。在实验中,TOR框架在多个数据集上达到了最先进的性能。