AI.x社区

为什么需要GUI视觉定位技术？1.1数字时代的效率革命图形用户界面(GraphicalUserInterface,GUI)智能体正在重塑人机交互方式。这类智能体通过模仿人类的视觉感知能力，可以直接"看懂"屏幕内容并执行操作指令。微软亚洲研究院团队的研究表明，相比依赖HTML等GUI元数据的传统方法（存在平台依赖性和实现差异问题），基于视觉的方法具有更广泛的适用性。例如，在跨平台操作场景中，视觉智能体可以统一处理Windows、Web和移动端界面，...

一、为什么需要混合检索技术？1.1大语言模型的"幻觉"困境大语言模型（LLM,LargeLanguageModel）虽然在文本生成和理解方面表现出色，但存在一个致命缺陷——会产生"幻觉"（Hallucination），即生成看似合理但实际错误或无依据的内容。1.2检索增强生成的技术革新检索增强生成（RAG,RetrievalAugmentedGeneration）技术应运而生，它通过结合外部知识库为LLM提供事实依据。传统RAG系统主要采用两种检索方式：稀疏检索（如BM25算法）...

该框架不仅能够有效挖掘潜在的跨文档关系，还能同时去除无关信息和冗余内容。我基于GPT3.5构建的方法在多个常用的知识问答和幻觉检测数据集上进行了验证。实验结果表明，该方法在各种场景和实验设置下均实现了性能的显著提升，展现出强大的鲁棒性和广泛的适用性。https:arxiv.orgabs2504.03165一、为什么需要高效动态聚类文档压缩技术？1.1大语言模型的挑战与检索增强生成（RAG）的兴起近年来，大语言模型（LargeLanguageModels...

MESRAG框架，专为提升实体查询处理能力而设计，确保响应的准确、安全与一致。MESRAG采用主动安全措施，通过预先保护机制确保数据访问安全。此外，该系统支持实时多模态输出，包括文本、图像、音频和视频，无缝融入现有RAG架构。一、为什么需要MESRAG技术？1.1传统RAG系统的局限性传统的检索增强生成（RetrievalAugmentedGeneration,RAG）系统虽然在提升大语言模型（LargeLanguageModels,LLMs）的能力方面表现出色，但它们往往只...

构建了一个涵盖所有基于图的RAG方法的统一框架，并从宏观角度进行了总结。接着，在不同类型的问答（QA）数据集上对具有代表性的基于图的RAG方法进行了全面比较，从具体问题到抽象问题，深入分析了各种方法的表现。通过实验分析，不仅揭示了基于图的RAG方法的有效性，还通过结合现有技术，在具体问答和抽象问答任务中发现了优于现有最优方法的新变体。​​https:arxiv.orgpdf2503.04338​​一、为什么需要图检索增强生成（Graphb...

ViDoRAG:VisualDocumentRetrievalAugmentedGenerationviaDynamicIterativeReasoningAgentsViDoRAG——一个专为视觉文档复杂推理设计的多智能体RAG框架。ViDoRAG采用基于高斯混合模型（GMM）的混合策略，实现高效多模态检索。为进一步挖掘模型推理潜力，我们设计了一个包含探索、总结与反思的迭代智能体工作流，为研究RAG领域的测试时扩展提供了全新框架，超越现有方法10%以上。https:arxiv.orgabs2502.18017一、为什么需要ViDoR...

一、为什么需要RAG和GraphRAG技术？1.1大模型的局限性大型语言模型（LLMs,LargeLanguageModels）虽然在生成文本方面表现出色，但它们存在一些固有缺陷。比如，LLMs容易出现“幻觉”现象，即生成不准确或虚构的内容。此外，LLMs的上下文窗口有限，无法处理过长的文本，还存在隐私泄露的风险。为了弥补这些不足，检索增强生成（RAG,RetrievalAugmentedGeneration）技术应运而生。RAG通过从外部数据源检索相关信息，显著提升了模型...

一、RAG系统的背景与挑战在自然语言处理（NLP）领域，大型语言模型（LLMs）如GPT、BERT等已经展现出了强大的文本生成、问答和摘要能力。然而，这些模型也存在一些显著的局限性。•首先，LLMs的知识是静态的，这意味着它们无法及时更新以反映新信息，导致生成的回答可能过时。•其次，LLMs有时会生成听起来合理但事实上错误的回答，这种现象被称为“幻觉”。•最后，LLMs在涉及高级专业领域的知识时，往往缺乏足够的深度。为了应...

DiversityEnhancesanLLM'sPerformanceinRAGandLongcontextTask大型语言模型（LLMs）的快速发展凸显了上下文窗口限制的挑战，这主要是由于自注意力机制的二次时间复杂度（(O(N^2))，其中(N)表示上下文窗口长度）。这一限制影响了问答（Q&A）中的检索增强生成（RAG）和长上下文摘要等任务。一种常见的方法是选择与查询最相似的内容；然而，这通常会导致冗余，并排除多样化的相关信息。基于最大边缘相关性（MMR）和最远点采样（FPS...

WebWalker:BenchmarkingLLMsinWebTraversal检索增强生成（RAG）在开放域问答任务中表现出色。然而，传统搜索引擎可能会检索浅层内容，限制了大型语言模型（LLM）处理复杂、多层次信息的能力。为了解决这个问题，我们引入了WebWalkerQA，一个旨在评估LLM执行网页遍历能力的基准。它评估LLM系统性地遍历网站子页面以获取对应信息的能力。同时我们提出了WebWalker，一个通过explorercritic范式模拟人类网页导航的multiagent框架。...

摘要机器写作通常依赖检索增强生成技术，但这些方法受限于模型预定义的范围，难以生成信息丰富的内容。普通检索的信息往往缺乏深度、实用性，且冗余问题严重，导致生成的文章内容浅显、重复且缺乏原创性。为此，我们提出了OmniThink框架，它模拟了人类迭代扩展和反思的认知过程。OmniThink的核心在于模拟学习者逐步深化对主题理解的认知行为。实验表明，OmniThink在不牺牲连贯性和深度的前提下，显著提升了生成文章的知识密度。...

1.表格问答的现状表格问答（TQA，TableQuestionAnswering）是指依据表格形式的数据来回答问题。表格问答任务的任务也越来越复杂，要解决这些复杂任务，就得执行多个推理步骤（多步骤）或者运用不同的推理策略（多类别）。。处理TQA中这些复杂实例的一种常见方法是规划，生成详细的逐步计划并引导推理过程。该方向有两种方法：•针对开源大型语言模型（LLMs）进行微调，但微调需要高质量的数据，通常难以获取•使用闭源的商业LLM...

1.传统RAG存在的问题检索增强生成（RetrievalAugmentedGeneration,RAG）能让大型语言模型（LLMs）从非结构化文档数据库获取信息，使得LLMs就能处理未知事实，并借助额外的文本信息解决开放域问答（OpenDomainQuestionAnswering，ODQA）问题。图检索增强生成（GraphRAG，GRAG）从结构化知识库中检索信息，其中的文档通过关系相互关联。现有的GRAG方法主要集中在两个方向：•从知识图谱（KnowledgeGraphs，KGs）中提取关系信息，...

1.为什么要提出RARE问答（QA，QuestionAnswering）系统的目的以自然语言提出的问题生成答案，其涵盖的领域和类型极为广泛，从开放领域的QA到更为专业的领域，比如医疗QA。医疗QA要求模型能够掌握复杂的医学知识、解读临床场景，并选出正确且符合上下文的选项。和多数专业领域的QA类似，医疗QA也需要结构化的多步骤推理，从一系列连续的步骤中推理出答案。比如，依据患者信息给出恰当的初始治疗方案，模型首先要识别患者的状况，...

MultiAgentLargeLanguageModelsforConversationalTaskSolving在单个大型语言模型多年来主宰人工智能领域的时代，多智能体系统在对话任务解决中崭露头角。此前的研究虽已展现出其在推理任务和创新尝试方面的潜力，但对于其在对话范式方面的局限以及个体智能体的影响，却缺乏分析。多智能体讨论在不同复杂程度任务中的表现怎样，以及这些对话的结构如何影响进程，都尚不明确。为填补这一空缺，本文对各种讨论范式下的多智能体系统...

1.LLM与选股资本市场是资本配置的高效渠道，价格发现过程对维持金融系统的健康稳定至关重要。价格发现过程取决于一系列复杂的相互作用因素，包括公司和行业要素、宏观经济数据、动量效应以及政治和地缘政治影响。市场参与者共同参与这一复杂的价格发现机制，以确保金融市场的有效运行。股票选择本质上是一种价格发现机制，市场参与者会关注被视为“定价不当”的股票，从而获得相对于整个市场更具吸引力的回报潜力。这一原则构成...

1.文档视觉问答现状文档视觉问答（DocVQA）是通过解读文档图像所含信息来回答文本问题的多模态任务。精准高效地回答众多冗长且布局繁杂的文档中的问题，会给金融、医疗保健和法律等诸多领域带来极大益处，在这些领域，文档AI助手能够简化大量文档的日常处理，提升生产力，助力更快、更明智的决策。现有的DocVQA任务，主要有以下两种方案：•1.聚焦于单页文档的视觉问答，如下图。图片•2.从文档中提取文本（比如OCR或PDF文本提...

1.RAG目前存在的问题RAG系统前前发展取得了一定的成果，但是仍然存在一个问题：在获取文档时会检索到不相关或关联较弱的信息。目前的检索技术，即使是重排序和查询重写，不但不能滤除检索文档中的大量无关信息块，还致使响应生成出现一系列诸如事实不准确、不相关以及幻觉等问题。传统上RAG系统会检索大量整个文档的文本或者其中冗长的部分，认为这些冗长片段可能包含相关信息。然而，这类系统极少单独审视检索到的文档的章节或...

​AIAgent的四种关键设计模式如下：反思：LLM检查自己的工作，以提出改进方法。使用工具：LLM使用网络搜索、代码执行或任何其他功能来帮助收集信息、采取行动或处理数据。规划：LLM提出并执行一个多步骤计划来实现目标。多智能体协作：多个AI智能体一起工作，分配任务并讨论和辩论想法，提出比单个智能体更好的解决方案。1.反思如图1所示，反思模式允许AIAgent在完成任务后对自身的输出进行再次审视和评估。在这种模式下，AIAge...

架构图片上图是VideoAgent的概览图，VideoAgent通过搜索、聚合视频信息来完成长视频QA。整个系统包括一个核心LLM、VLM(视觉大语言模型)和CLIP工具。作者受到人类理解长视频的启发，提出了VideoAgent，通过基于Agent的系统来模拟这一过程的系统。将视频理解过程形式化为一系列状态、动作和观察，其中LLM作为代理控制这个过程。首先，LLM通过浏览从视频中均匀抽样的一组帧来熟悉视频内容的背景。在每次迭代中，LLM评估当前信息（...