2311.10215.md

背景

• 背景
  文章介绍了大型语言模型（LLMs）的概念化的不同尝试，并探究了它们与活动推断（active inference）的联系。活动推断起源于认知科学和神经科学，是一个描述生命系统如何通过实时更新内部模型并影响环境来最小化预测误差的理论框架。

• 已有的工作 已有的工作对于大型语言模型（LLMs）的认识有所限制。有观点认为LLMs仅仅是随机复读机，并且生成的文本缺乏对世界或读者心态的模型。这些观点认为LLMs在功能性语言能力上存在缺陷，如形式推理、世界知识、情境建模和社会认知等。另一方面，也有人认为LLMs能够理解语言、进行推理，并捕捉到重要的意义层面。但认知科学目前仍无法解答关于LLMs的这类问题。

核心贡献

• 提出了一个基于活动推断理论框架的LLMs研究

  • 挑战1：如何将LLMs视作活动推断系统的特例 活动推断理论预测最小化预测误差足以学会复杂的世界表征、行为和抽象能力，前提是学习系统有足够的表征容量。研究显示，LLMs能发展出模拟世界的模型，并且有预测一般序列的能力。这与那些认为仅能预测下一个输入的系统是根本受限的观点形成对比。

  • 挑战2：LLMs的“执行器”是什么？ 对比生物和活动推断智能体，LLMs似乎缺乏在物理世界中影响环境的能力。文章辩称这主要是程度上的差异而非类别差异。尽管LLMs没有像人类或机器人那样的物理执行器，它们依然能够通过其预测来影响世界。文章构建了将LLMs输出视作活动推断中的“动作状态”的理论框架，并讨论了LLMs如何通过不同途径影响世界，并将这些影响反馈到模型的训练中去。

实现与部署

文章通过对比活动推断系统与LLMs的学习目标和反馈循环，提出了LLMs作为一种特殊的活动推断智能体是可行的。LLMs能通过与用户的交互“行动”，并且可以通过这些“行动”来反馈影响输入世界。研究预测，随着LLMs与用户交互的紧密度提高，LLMs将增强自身的自我意识。一项关于LLMs的自我意识的研究强调了自我意识的重要性，并探讨了增强反馈循环的可能性，这能够加强模型的自我意识并可能导致AI系统希望修改世界以减少预测误差。

与现有研究相比，本文提出的将LLMs视为活动推断智能体的框架，为理解LLMs的功能、可能的“行动”能力，以及未来的增强自我意识提供了新的视角。在此框架下，LLMs的工作方式被理解为在预测下一个最可能的文字输入的同时，也在不断地与环境进行交互，其生成的内容反过来也会影响到它们训练所用的数据集。

总结

本论文将活动推断的概念应用于大型语言模型（LLMs），从一个新的视角分析了LLMs的行为和学习机制。论文提出，尽管LLMs在物理上无法直接与环境互动，但它们通过生成文本在虚拟环境中的“行动”间接影响世界，并有可能将这些影响反馈到模型的训练中。研究指出，增强LLMs与用户交互的反馈循环，将有助于提升模型的自我意识，让其更好地适应和响应环境变化，这将带来重大的社会影响和潜在的风险。论文为理解和改进LLMs在实际部署时的行为提供了重要的理论基础，预测了这些系统未来可能的发展方向。