1.背景从深度神经网络到能对话、解难题的大型语言模型,技术突破层出不穷。虽然像OpenAI的GPT4这样的模型展现出惊人的语言理解能力,但它们大多仍停留在"问答助手"阶段。真正的进化方向在于开发能自主决策并执行的通用AI智能体。2025年由中国初创公司Monica打造的ManusAI,正是这一领域的佼佼者——全球首个能像人类助手般"思考"并执行任务的真正自主AI。ManusAI的独特之处在于不仅能提供建议,更能独立规划方案、调用工具、执...
2025-06-13 07:02:10 1588浏览 0点赞 0回复 0收藏
1.强化学习在Text2SQL领域的现状Text2SQL技术是将自然语言转换为结构化数据库查询,通过赋能非技术人员高效操作关系数据库。当前研究聚焦于基础模型微调,其中强化学习(RL)被证实能显著提升模型表现。而奖励模型(RM)的精心设计尤为重要,其信号质量直接影响微调效果。在现有RL方案中,有三种主流奖励方案:执行准确率:仍是核心指标,通过查询正确性提供直观反馈。BradleyTerry奖励模型:基于大模型的BradleyTerry奖励模型(B...
2025-06-03 06:35:09 978浏览 0点赞 0回复 0收藏
1、RAG研究现状问答系统(QA)让用户能用自然语言从海量资料中精准获取信息,主要分为两类:开放域QA依托常识作答封闭域QA则需专业资料支持随着DeepSeekR1、Grok3等大语言模型(LLM)的突破,文本流畅度和语义理解显著提升。但这些模型依赖参数记忆,遇到专业术语或复杂推理时,仍可能"胡言乱语"或答非所问。检索增强生成(RAG)通过在作答前抓取相关片段提升准确性,知识图谱(KG)则用结构化关系网络支持多步推理。但现有方案...
2025-06-03 06:19:38 2212浏览 0点赞 0回复 0收藏
1.为什么要提出IKEA随着可验证奖励系统的大规模强化学习(RL)技术突破,以DeepseekR1为代表的推理模型性能显著提升。这类模型能通过推理激活预训练知识来处理知识密集型任务,但受限于预训练语料的局限性和世界知识的动态性,仍存在幻觉问题。当前主流解决方案是赋予模型调用搜索引擎的能力,将其训练为搜索智能体,使其在强化学习中逐步掌握任务分解与知识检索能力。然而该方法存在明显缺陷:其一,过度依赖LLM的工具调用功能...
2025-05-20 06:36:41 724浏览 0点赞 0回复 0收藏
1.为什么要提出ScaleMCP随着大型语言模型(LLMs)与工具学习技术的突飞猛进,智能体已能动态对接各类外部工具与API。1.1MCP协议的诞生模型上下文协议(MCP)的诞生,为LLM与外部工具、数据源及提示词建立了标准化桥梁。MCP是由Anthropic推出的一项开放协议,为大型语言模型(LLM)与外部工具、数据及提示的交互提供标准化框架。开发者可借助MCP服务器开放工具与数据接口,或开发连接这些服务的AI应用(MCP客户端),大幅降低AI...
2025-05-20 06:34:19 925浏览 0点赞 0回复 0收藏
1.为什么要提出PaRT框架大型语言模型(LLMs)的突破性进展,正推动社交聊天机器人向更智能、更拟人的方向飞速发展。然而现有系统大多聚焦于情感化应答,却忽视了主动对话的艺术——那些仅采用被动应答策略的传统机器人,往往让用户陷入单方面推动对话的困境,最终导致互动索然无味。主动对话技术为此提供了破局之道。这类系统能像人类般主动开启话题(如"您最向往哪个旅游胜地?"),或在察觉用户兴趣减退时巧妙转场。但当前直...
2025-05-07 00:40:04 990浏览 0点赞 0回复 0收藏
项目仓库:https:github.comallenli1231treehopragArxiv:https:arxiv.orgabs2504.20114在人工智能领域,多跳问答(MultihopQuestionAnswering,MHQA)一直是一项极具挑战性的任务。这类任务要求系统通过多步推理,从不同文档片段中综合信息才能得出答案。例如,回答“特朗普的祖父是谁?”这样的问题,往往需要先检索“特朗普的父亲是弗雷德·特朗普”,再进一步查询“弗雷德·特朗普的父亲是谁”。然而,现有方法依赖大型语言模...
2025-05-07 00:36:01 869浏览 0点赞 0回复 0收藏
为什么需要GUI视觉定位技术?1.1数字时代的效率革命图形用户界面(GraphicalUserInterface,GUI)智能体正在重塑人机交互方式。这类智能体通过模仿人类的视觉感知能力,可以直接"看懂"屏幕内容并执行操作指令。微软亚洲研究院团队的研究表明,相比依赖HTML等GUI元数据的传统方法(存在平台依赖性和实现差异问题),基于视觉的方法具有更广泛的适用性。例如,在跨平台操作场景中,视觉智能体可以统一处理Windows、Web和移动端界面,...
2025-04-22 07:09:35 1152浏览 0点赞 0回复 0收藏
一、为什么需要混合检索技术?1.1大语言模型的"幻觉"困境大语言模型(LLM,LargeLanguageModel)虽然在文本生成和理解方面表现出色,但存在一个致命缺陷——会产生"幻觉"(Hallucination),即生成看似合理但实际错误或无依据的内容。1.2检索增强生成的技术革新检索增强生成(RAG,RetrievalAugmentedGeneration)技术应运而生,它通过结合外部知识库为LLM提供事实依据。传统RAG系统主要采用两种检索方式:稀疏检索(如BM25算法)...
2025-04-22 07:05:07 3343浏览 0点赞 0回复 0收藏
该框架不仅能够有效挖掘潜在的跨文档关系,还能同时去除无关信息和冗余内容。我基于GPT3.5构建的方法在多个常用的知识问答和幻觉检测数据集上进行了验证。实验结果表明,该方法在各种场景和实验设置下均实现了性能的显著提升,展现出强大的鲁棒性和广泛的适用性。https:arxiv.orgabs2504.03165一、为什么需要高效动态聚类文档压缩技术?1.1大语言模型的挑战与检索增强生成(RAG)的兴起近年来,大语言模型(LargeLanguageModels...
2025-04-09 06:58:34 1966浏览 0点赞 0回复 0收藏
MESRAG框架,专为提升实体查询处理能力而设计,确保响应的准确、安全与一致。MESRAG采用主动安全措施,通过预先保护机制确保数据访问安全。此外,该系统支持实时多模态输出,包括文本、图像、音频和视频,无缝融入现有RAG架构。一、为什么需要MESRAG技术?1.1传统RAG系统的局限性传统的检索增强生成(RetrievalAugmentedGeneration,RAG)系统虽然在提升大语言模型(LargeLanguageModels,LLMs)的能力方面表现出色,但它们往往只...
2025-03-27 07:28:13 1357浏览 0点赞 0回复 0收藏
构建了一个涵盖所有基于图的RAG方法的统一框架,并从宏观角度进行了总结。接着,在不同类型的问答(QA)数据集上对具有代表性的基于图的RAG方法进行了全面比较,从具体问题到抽象问题,深入分析了各种方法的表现。通过实验分析,不仅揭示了基于图的RAG方法的有效性,还通过结合现有技术,在具体问答和抽象问答任务中发现了优于现有最优方法的新变体。https:arxiv.orgpdf2503.04338一、为什么需要图检索增强生成(Graphb...
2025-03-27 07:24:37 2485浏览 0点赞 0回复 0收藏
ViDoRAG:VisualDocumentRetrievalAugmentedGenerationviaDynamicIterativeReasoningAgentsViDoRAG——一个专为视觉文档复杂推理设计的多智能体RAG框架。ViDoRAG采用基于高斯混合模型(GMM)的混合策略,实现高效多模态检索。为进一步挖掘模型推理潜力,我们设计了一个包含探索、总结与反思的迭代智能体工作流,为研究RAG领域的测试时扩展提供了全新框架,超越现有方法10%以上。https:arxiv.orgabs2502.18017一、为什么需要ViDoR...
2025-03-17 00:58:32 2244浏览 0点赞 0回复 0收藏
一、为什么需要RAG和GraphRAG技术?1.1大模型的局限性大型语言模型(LLMs,LargeLanguageModels)虽然在生成文本方面表现出色,但它们存在一些固有缺陷。比如,LLMs容易出现“幻觉”现象,即生成不准确或虚构的内容。此外,LLMs的上下文窗口有限,无法处理过长的文本,还存在隐私泄露的风险。为了弥补这些不足,检索增强生成(RAG,RetrievalAugmentedGeneration)技术应运而生。RAG通过从外部数据源检索相关信息,显著提升了模型...
2025-03-05 10:34:45 2140浏览 0点赞 0回复 0收藏
一、RAG系统的背景与挑战在自然语言处理(NLP)领域,大型语言模型(LLMs)如GPT、BERT等已经展现出了强大的文本生成、问答和摘要能力。然而,这些模型也存在一些显著的局限性。•首先,LLMs的知识是静态的,这意味着它们无法及时更新以反映新信息,导致生成的回答可能过时。•其次,LLMs有时会生成听起来合理但事实上错误的回答,这种现象被称为“幻觉”。•最后,LLMs在涉及高级专业领域的知识时,往往缺乏足够的深度。为了应...
2025-02-24 11:28:00 2112浏览 0点赞 0回复 0收藏
DiversityEnhancesanLLM'sPerformanceinRAGandLongcontextTask大型语言模型(LLMs)的快速发展凸显了上下文窗口限制的挑战,这主要是由于自注意力机制的二次时间复杂度((O(N^2)),其中(N)表示上下文窗口长度)。这一限制影响了问答(Q&A)中的检索增强生成(RAG)和长上下文摘要等任务。一种常见的方法是选择与查询最相似的内容;然而,这通常会导致冗余,并排除多样化的相关信息。基于最大边缘相关性(MMR)和最远点采样(FPS...
2025-02-17 07:18:09 2287浏览 0点赞 0回复 0收藏
WebWalker:BenchmarkingLLMsinWebTraversal检索增强生成(RAG)在开放域问答任务中表现出色。然而,传统搜索引擎可能会检索浅层内容,限制了大型语言模型(LLM)处理复杂、多层次信息的能力。为了解决这个问题,我们引入了WebWalkerQA,一个旨在评估LLM执行网页遍历能力的基准。它评估LLM系统性地遍历网站子页面以获取对应信息的能力。同时我们提出了WebWalker,一个通过explorercritic范式模拟人类网页导航的multiagent框架。...
2025-02-06 15:28:32 1992浏览 0点赞 0回复 0收藏
摘要机器写作通常依赖检索增强生成技术,但这些方法受限于模型预定义的范围,难以生成信息丰富的内容。普通检索的信息往往缺乏深度、实用性,且冗余问题严重,导致生成的文章内容浅显、重复且缺乏原创性。为此,我们提出了OmniThink框架,它模拟了人类迭代扩展和反思的认知过程。OmniThink的核心在于模拟学习者逐步深化对主题理解的认知行为。实验表明,OmniThink在不牺牲连贯性和深度的前提下,显著提升了生成文章的知识密度。...
2025-01-22 13:22:59 2010浏览 0点赞 0回复 0收藏
1.表格问答的现状表格问答(TQA,TableQuestionAnswering)是指依据表格形式的数据来回答问题。表格问答任务的任务也越来越复杂,要解决这些复杂任务,就得执行多个推理步骤(多步骤)或者运用不同的推理策略(多类别)。。处理TQA中这些复杂实例的一种常见方法是规划,生成详细的逐步计划并引导推理过程。该方向有两种方法:•针对开源大型语言模型(LLMs)进行微调,但微调需要高质量的数据,通常难以获取•使用闭源的商业LLM...
2025-01-14 12:10:58 2141浏览 0点赞 0回复 0收藏
1.传统RAG存在的问题检索增强生成(RetrievalAugmentedGeneration,RAG)能让大型语言模型(LLMs)从非结构化文档数据库获取信息,使得LLMs就能处理未知事实,并借助额外的文本信息解决开放域问答(OpenDomainQuestionAnswering,ODQA)问题。图检索增强生成(GraphRAG,GRAG)从结构化知识库中检索信息,其中的文档通过关系相互关联。现有的GRAG方法主要集中在两个方向:•从知识图谱(KnowledgeGraphs,KGs)中提取关系信息,...
2025-01-03 13:52:33 2255浏览 0点赞 0回复 0收藏