2407.04363.md

背景

• 背景
  文章介绍了大型语言模型(LLMs) 在发展自主代理方面潜力的扩展。真正的自主性需要不断积累和更新从环境中获得的知识，以及有效地利用这些知识。LLM 基本上通过完整的历史观察、总结或检索增强来利用过去的经验。然而，这些非结构化的记忆表示不利于对复杂决策所必需的推理和规划。

• 已有的工作 存在的工作依赖于Retrieval-Augmented Generation (RAG) 向量检索方法，通过外部数据库增强模型的提示从而提供相关信息。然而，这些方法由于其非结构化的特性，难以检索分布在代理记忆中的相关信息。

核心贡献

• 提出了一个名为AriGraph的记忆架构

  • 挑战1：如何构建能够累积和利用知识的自主代理？ AriGraph解决这个挑战，通过在探索环境时构建一个包含语义和情景记忆的记忆图。这个图结构促进了与代理当前状态和目标相关的概念的高效关联检索，作为一种有效的环境模型，增强了代理的探索和规划能力。

  • 挑战2：如何提高记忆检索的相关性并启用有效的探索？ AriGraph通过集成语义和情景记忆来克服这个挑战，有效地连接了知识图谱中的复杂关系，并在交互中学习合并语义和情景世界模型，进而提高空间定位和探索能力。

实现与部署

在 TextWorld 环境中，AriGraph 显著地优于全历史、总结和基于最新、重要和相关性评分的 RAG 方法等传统方法。AriGraph 通过与环境交互学习在从零开始的任务中对代理进行建模，在模拟的文本世界环境中，评估代理的路径规划和推理能力。实验结果表明，该代理可以通过与环境的互动来有效学习，并显著优于其他记忆方法，例如完整历史记录、总结和 RAG。同时显示，该方法还超过了现有的强化学习(RL)基线。

总结

AriGraph 是一种新颖的记忆架构，用于构建集成了语义和情景记忆的知识图世界模型，以提升 LLM 代理的探索和规划能力。通过在 TextWorld 环境中的实验，证明了它在处理复杂任务方面比其他现有方法更有效。