AI.x社区

Anthropic深夜发布重大更新：升级版Claude3.5Sonnet、新型号Claude3.5Haiku以及超级Agent：computeruse。新的ComputerUse可能是迄今为止最先进的AIAgent之一，它可以像人类一样使用计算机——查看屏幕、移动光标、点击和输入文本。Claude3.5Sonnet：强悍编程能力编程能力显著提升，SWEbench测试从33.4%提升到49.0%,超过所有公开模型)，工具使用能力增强，价格和速度维持不变​​https:www.swebench.com​​超级Agent：computeru...

智能体（Agent）通过自然对话与用户互动有两个任务：交谈和规划推理。对话回应必须基于所有可用信息，行动必须有助于实现目标。与用户交谈和进行多步推理和规划之间的二分法，类似卡尼曼引入的人类快速思考和慢速思考系统。为此，GoogleDeepMind提出了一个名为TalkerReasoner的双系统架构，以模拟人类的两种思考系统。TalkerReasoner的双系统架构，用于构建能够通过自然对话与用户互动的智能代理。这种架构受到人类“快速思考”...

传统大模型工具调用的方法依赖于将工具描述作为上下文输入，这受到上下文长度的限制，并需要单独的、通常效率低下的检索机制。之前基于检索的方法与ToolGen之间的比较。以前的方法使用检索器根据相似性匹配检索相关工具，这些工具进一步被放入提示中供LLMs选择。ToolGen可以通过直接生成工具标记来检索工具。ToolGen也可以在不依赖任何外部检索器的情况下完成任务。为此，微软等提出ToolGen，这是一种将工具知识直接整合到LLM参...

以往的研究主要集中在通过增加检索文档的数量或长度来扩展检索增强生成（RAG）中检索到的知识。然而，仅增加知识量而不提供进一步的指导存在一定的局限性。为此，GoogleDeepMind研究了RAG在推理计算扩展（InferenceScaling）情况下的性能，特别是当上下文很长时。通过应用最优配置，在长上下文LLMs上扩展推理计算可以实现高达58.9%的性能提升。用于RAG的推理扩展策略为了衡量推理计算，定义了有效上下文长度，即在LLM生成最终答...

SMARTSLIC框架：旨在将RAG结合向量存储（VectorStores）、知识图谱（KnowledgeGraphs）和张量分解（TensorFactorization）来增强特定领域的大型语言模型（LLMs）的性能。SMARTSLIC系统框架SMARTSLIC框架的关键组成部分和操作流程：包括构建特定领域的数据集、知识图谱本体论、向量存储以及检索增强生成（RAG）过程：A.特定领域的数据集：项目从由主题专家（SMEs）选定的核心文档开始，这些文档代表了想要构建数据集的特定领域。...

VARAG（视觉增强检索和生成）：是一种视觉优先的RAG引擎，强调基于视觉的检索技术。它通过视觉语言模型集成视觉和文本数据，增强了传统的检索增强生成(RAG)系统。🚀支持的检索技术VARAG支持多种检索技术，针对不同用例进行了优化，包括文本、图像和多模式文档检索。以下是支持的主要技术：简单RAG（带OCR）​简单RAG（检索增强生成）是一种高效而直接的方法，用于从文档中提取文本并将其输入到检索管道中。VARAG通过Docling整合...

将外部数据整合到LLMs中的技术，如检索增强生成（RAG）和微调，得到广泛应用，但在不同专业领域有效部署数据增强LLMs面临着重大挑战：从检索相关数据和准确解释用户意图到充分利用LLMs的推理能力来处理复杂任务对于数据增强LLM应用来说，没有一种放之四海而皆准的解决方案。应用落地性能不佳往往是由于未能正确识别任务的核心焦点，或者任务本身就需要多种能力结合，必须被分离出来以获得更好解决方案。数据增强LLM应用中不同查...

现有基于LLM的智能体虽然在功能上取得了进展，但缺乏模块化，导致在研究和开发中存在术语和架构上的混淆，在软件架构上缺乏统一。“AsurveyonLLMbasedautonomousagents”提出的框架，它并没有明确指出大型语言模型（LLM）、工具、数据源和记忆是否是Agent的一部分。这种对每个模块功能的模糊区分促进了软件开发者之间的分裂，并导致不兼容和阻碍了可重用性LLMAgentUMF框架通过明确区分智能体的不同组件，包括LLM、工具和新引入...

​iText2KG是一个开源项目，能够利用大型语言模型（zeroshot）跨领域从文本中提取实体和关系，自动构建和更新知识图谱，并通过Neo4j进行可视化。iText2KG由四个主要模块组成：文档提取器、增量实体提取器、增量关系提取器、图形集成器和可视化。它们协同工作，从非结构化文本构建和可视化知识图谱。iText2KG整体架构概述文档提取器（DocumentDistiller）：该模块处理原始文档，并根据用户定义的模式将其重新表述为语义块。它通...

OpenAI草莓Q项目终于发布了，OpenAIo1在具有挑战性的推理基准上遥遥领先于GPT4o，即使在一些基准上超过了人类PhD水平，也能被玩坏实线表示pass1准确率，阴影区域表示64个样本的多数投票（共识）表现OpenAIo1思考一个“句子编写”问题，足足花费92s，经历了漫长的thinking过程：识别单词模式映射单词关系识别押韵模式...权衡各种模式编写一个句子，遵循与句子"isoldbowlstoboldsouls"相同的规则，其中包含四个关键词，sold、bowl...

大型语言模型（LLMs）在自然语言处理（NLP）领域促进了重大进展，但它们也面临着诸如幻觉和需要特定领域知识等挑战。为了缓解这些问题，最近的一些方法将从外部资源检索到的信息与LLMs相结合，显著提高了它们在NLP任务中的表现，但是缺乏对检索增强型语言模型（RALM）全面概述。因此，对包括检索增强生成（RAG）和检索增强理解（RAU），提供了对它们的范式、演变、分类和应用的深入、全面综述。图1：RALM研究总体概述一、RALM是...

MemoRAG是一个建立在高效、超长记忆模型之上的创新RAG（RetrievalAugmentedGeneration）框架，由智源研究院（北京人工智能研究院）与中国人民大学高瓴人工智能学院联合推出并开源。MemoRAG：通过记忆启发的知识发现迈向下一代RAG，为RAG提供基于内存的数据接口，适用于多种用途的应用程序！MemoRAG与主要处理具有明确信息需求查询的标准RAG不同，MemoRAG利用其记忆模型实现对整个数据库的全局理解。通过从记忆中回忆与查询相关...

开源大模型领域热闹非凡的一周，各种开源，PaperAgent进行了概括：端侧、Code、RAG、Agent、Reflection（反思纠正）、MoE，你关注的都在这里了。ReflectionLlama3.170B开源ReflectionLlama3.170B是世界上顶尖的OpenLLM，通过反思微调技术（ReflectionTuning）训练，能够检测并纠正推理错误，具有很高的热度，HuggingFace热门排行Top1。Agent中需要LLM具有很强的推理规划能力，这种反思技术训练的模型是否很契合Agent尼？有待进...

要说最近RAG方面火热的项目当属kotaemon，短时间暴涨8kstar​​一个开源、清晰、强大且可定制的RAGUI​​kotaemon的亮点是可定制化RAGUI，核心技术点是混合索引（Vector、Keyword、GraphRAG）、复杂推理Agent（ReAct、ReWOO、MemoryGIST和GraphReader）、多模态。混合索引（GraphRAG）混合索引主要是指：全文和矢量融合，这里还有一个选型就是集成了RAG的新范式：GraphRAG看代码直接用的微软GraphRAG检索后重排采用LLMRerankerR...

传统的注意力机制由于时间和空间复杂度的二次方增长，以及在生成过程中键值缓存的内存消耗不断增加，限制了模型处理长文本的能力。相关的解决方案包括减少计算复杂度、改进记忆选择和引入检索增强语言建模。检索增强生成（RAG）和MemLong的记忆检索流程。(a)当检索到的信息长度超过模型的处理能力时，RAG甚至可能会降低生成性能（黄色）(b)MemLong利用外部检索器来获取历史信息，然后将这些信息以键值对（KV）的形式而不是文本...

kotaemon：一个开源的干净且可定制的RAGUI，用于构建和定制自己的文档问答系统。既考虑了最终用户的需求，也考虑了开发者的需求。kotaemon为想要在他们的文档上进行问答（QA）的最终用户，以及想要构建自己的RAG流程的开发者提供了一个功能性的RAGUI。++最终用户：使用kotaemon构建的应用程序的用户。（您使用的应用程序类似于上面的演示示例）++开发者：使用kotaemon构建应用程序的人。（您的项目中某处有importkotaemon）++贡...

《黑神话：悟空》很火，微软GraphRAG很火，SoGraphRAG分析整部《西游记》小说原文，看悟空：“天命人”那些年历经的九九八十一难！顺便聊一下GraphRAG社区发现过程中一些小坑。GraphRAG配置：qwen1.514b、bgem3e。西游记社交关系整个图谱形成两个比较大的中心“孙悟空”、“唐僧”；然后围绕人物所经历的一些时间展开：花果山、大闹天空、取经之路等等。GraphRAG孙悟空思维导图GraphRAG对西游记的整体概括《西游记》是一部富含...

​一、RAG问答将RAG过程应用于问答的一个代表性实例。主要由3个步骤组成。索引，文档被分割成块，编码成向量，并存储在向量数据库中。检索，根据语义相似性检索与问题最相关的前k个块。生成，将原始问题和检索到的块一起输入到大型语言模型（GLM4Flash）中，生成最终答案。原生RAG问答流程（GLM4Flash）从RAG问答常见的三种问答类型为例：事实类总结类拒绝回答【案例说明】多问题事实类型Query:药明康德20222024年归母净利润预...

一种先进的检索增强型生成（RAG）开源解决方案，旨在解决简单的基于语义相似性的检索无法解决的复杂问题。展示了一个复杂的确定性图，作为高度可控的自主Agent的“大脑”，能够回答来自私域数据的复杂问题。关键特性复杂的确定性图：作为Agent的“大脑”，使复杂推理成为可能。可控自主Agent：能够回答自定义数据集中的复杂问题。幻觉预防：确保答案仅基于提供的数据，避免AI幻觉。多步骤推理：将复杂查询分解为可管理的子任务...

Agent智能体系统正在作为通用工具被广泛研究和应用，解决复杂问题通常需要由多个组件组成的复合智能体系统，而手工设计的解决方案最终会被学习到的更高效的解决方案所取代。为此，提出了自动化设计智能体系统（ADAS：AutomatedDesignofAgenticSystems，已开源）的新研究领域，目标是自动创建强大的智能体系统设计。通过代码定义整个智能体系统，并由一个“元Agent”自动发现新的智能体，理论上允许ADAS算法发现任何可能的构建块...