ODA:通过全局观察增强大模型集成知识图谱推理能力的新型Agent框架
大型语言模型(LLMs)在自然语言处理任务中取得了显著的成功。然而,LLMs在处理需要超出其预训练内容的专业知识的查询时,往往难以提供准确的回答。为了克服这一限制,研究者提出了将外部知识源,如知识图谱(KGs),与LLMs集成的方法。KGs提供了结构化、明确且可解释的知识表示,是克服LLMs内在限制的协同方法。尽管LLMs与KGs的融合在近期研究中引起了广泛关注,但现有的方法往往仅依赖于LLM对问题的分析,忽视了KGs中丰富的认知潜力。
一个LLM与KG集成的例子。观察到的实体以白色显示,而非观察到的实体以灰色显示。代理选择用于回答问题的实体以黄色高亮显示。
ODA(Observation-Driven Agent)框架是为了解决涉及KGs的任务而设计的。它通过全局观察来增强KG的推理能力,并采用观察、行动和反思的循环范式。ODA的关键模块包括:
观察模块:设计用于检查全局KG知识并引导与KG环境的自主推理过程。通过递归进度避免三元组数量呈指数级增长的问题。
行动模块:基于观察子图和ODA记忆,战略性地选择最适合执行的行动,确保准确回答问题。
反思模块:利用观察子图和从行动步骤获得的知识,提供反馈并更新记忆,为下一次迭代提供连续的推理。
ODA(Observation-Driven Agent)框架
ODA的工作流程示例。在这个例子中,ODA从实体Johann Wolfgang von Goethe开始观察。在左侧的第一次迭代中,选择了Johann Wolfgang von Goethe的邻居探索行动,并将反思得到的三元组(Johann Wolfgang von Goethe, unmarried Partner, Lili Schöneman)存储在记忆中。随后,对Lili Schöneman的观察引导ODA选择邻居探索行动,并导致三元组(Lili Schöneman, place of birth, Offenbach am Main)被保留在记忆中,如右侧所示。一旦积累了足够的知识,ODA触发回答行动,正确识别出Offenbach am Main 作为答案。
通过在四个KBQA数据集上的广泛实验,ODA在处理复杂问题时表现出色,尤其是在QALD10-en和T-REx数据集上分别实现了12.87%和8.9%的准确率提升。此外,ODA在不同基础模型上(GPT3.5、GPT4)的表现也证明了其在不同LLMs上的通用性。ODA通过观察模块和反思模块的有效整合,显著提高了行动选择和反思的准确性,从而增强了ODA的推理能力。
不同方法的性能比较,粗体分数代表所有基于GPT的零样本方法中的最佳性能。微调的SOTA包括:1: SPARQL-QA,2: RACo,3: Re2G,4: RAG。
消融比较:有无观察模块、以及不同反思方法
ODA: Observation-Driven Agent for integrating LLMs and Knowledge Graphs
https://arxiv.org/pdf/2404.07677.pdf
https://github.com/lanjiuqing64/KGdata
本文转载自PaperAgent,作者:PaperAgent