AI.x社区

大型语言模型（LLMs）在生成文本时可能会产生错误信息，即“幻觉”问题。尽管检索增强的LLMs通过检索外部数据来减少这种幻觉，但现有的方法通常不考虑检索文档与LLMs之间的细粒度结构语义交互，这在处理长文档时尤其影响回答的准确性。不同的检索增强方法范式，包括传统的检索器响应器方法和增强检索器重排序响应器框架。强调了学习关键检索文档的排序结构的重要性，以帮助LLMs更好地处理与事实知识相关的用户查询。为了解决这...

在AI规划领域，传统的规划器（如FastDownward）虽然功能强大，但它们需要将输入任务建模为PDDL（ProblemDomainDefinitionLanguage）格式，这是一个繁琐且容易出错的过程。相比之下，使用大型语言模型（LLMs）进行规划可以接受几乎任何文本输入，但不保证计划的质量和完整性。为了结合这两种方法的优点，一些研究工作开始利用LLMs自动化PDDL创建过程的部分内容。然而，这些方法仍然需要不同程度的专家输入。为此提出了NL2Plan，...

大语言模型在多种应用中展现出强大效力，但顶尖模型往往价格昂贵且能耗高，如GPT4、Anthropic。开源社区则以Llama3为例，提供了节能且成本效益高的替代方案，并且定制化小型语言模型在特定领域如法律、医疗或金融中，已超越了大型专有模型，显示出更高的效率和精准度。Octopusv4新型语言模型框架，通过构建一个包含不同垂直领域语言模型的图（graph）来使用各种开源语言模型。从使用万亿参数模型的单一模型推理，转变为由章鱼模...

尽管许多大型语言模型（LLMs）能够处理长篇输入，但它们仍然难以充分利用长文本中的信息，这被称为“中间丢失（lostinthemiddle）”挑战。这个问题可能是源于长文本训练期间缺乏明确的监督，未能强调长文本中任何位置都可能包含关键信息。基于这一直觉，提出了一种名为INformationINtensive（IN2，信息密集）训练的方法，这是一种纯粹的数据驱动解决方案，用以克服“中间丢失”的问题，达到GPT4Turbo同等水平！探测结果表明，IN...

大型语言模型（LLMs）在自然语言处理任务中取得了显著的成功。然而，LLMs在处理需要超出其预训练内容的专业知识的查询时，往往难以提供准确的回答。为了克服这一限制，研究者提出了将外部知识源，如知识图谱（KGs），与LLMs集成的方法。KGs提供了结构化、明确且可解释的知识表示，是克服LLMs内在限制的协同方法。尽管LLMs与KGs的融合在近期研究中引起了广泛关注，但现有的方法往往仅依赖于LLM对问题的分析，忽视了KGs中丰富的认...