2312.16702.md

背景

• 背景
  论文讨论了LLMs在处理和推理表格数据方面的能力，这是一个尚未充分研究的领域。虽然LLMs在理解丰富的文本数据方面已经展现出极大的能力，但它们解释和推理表格结构的能力仍然存在挑战。

• 已有的工作 目前的LLMs在解释和推理表格数据方面存在限制，这主要是因为表格的结构性质。LLMs天然设计用以解析和处理大量非结构化的文本内容，当处理带有显著结构和关系信息的表格时，就会遇到困难，例如准确定位和复杂的统计分析任务，以及数值推理和聚合这一额外复杂性。

核心贡献

• 提出了一个表格结构标准化方法

  • 挑战1：表格结构的鲁棒性 LLMs处理结构化变异的表格数据时表现出的性能下降，尤其是在符号推理任务中。这推动了表格结构标准化方法的提议，旨在提高LLMs在处理结构变化时的鲁棒性。

  • 挑战2：文本和符号推理的比较 文本推理略微优于符号推理，并且详细的错误分析揭示了每种策略在特定任务中的不同优势。将文本和符号推理路径汇聚起来，并通过混合自一致性机制的加持，实现了在WIKITABLEQUESTIONS上达到73.6%的SOTA性能，这在LLMs的表格处理范式中是一个重大的进步。

实现与部署

对SOTA LLMs如GPT-3.5进行实验，发现虽然LLMs能够从语义上解释表格，但其在抵御结构变化和理解表格结构方面的能力是不充分的。此外，实验还发现在有限表格内容的上下文中，文本推理优于符号推理，这超出了人们对符号推理在其他领域占主导地位的常规看法。论文实验应用混合自一致性机制，通过汇聚文本和符号推理的不同优势，能在表格问题回答方面取得SOTA性能。

总结

这篇论文深入探讨了LLMs对表格数据的理解和推理能力，对表格结构的鲁棒性、文本与符号推理的比较，以及多推理路径聚合对模型性能提升的影响做出了贡献。所提出的表格结构标准化方法和混合自一致性机制对提高LLMs在表格数据推理上的性能具有重要意义。