AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
痛斥！现在的MCP，就像尿裤子！创业CTO试用后怒气值飙升，开怼整个大模型圈怪象：开发文档用大模型写的！
原创
社区头条作者云昭出品51CTO技术栈（微信号：blog51cto）现在的MCP乃至大模型开发圈，就像尿了裤子！一开始热乎乎的，然后就开始难受了！近日，一篇有关MCP深度批判的博客文章《ACriticalLookatMCP》在网络上走红。图像MCP的热度暴涨十足，它甚至有望成为一种席卷全球的生态级别的协议，是一件有目共睹的事情。这篇文章的作者RasmusHolm，是一家创业公司CTO，三个星期前，他想在自己的实际环境中亲自上手实操一番MCP，结果大失所望。Rasm...MCPCTO大模型LMEye：面向大语言模型的交互式感知网络
原创摘要目前构建多模态大语言模型（MLLMs）的高效方法，主要是通过简单的视觉映射网络，如线性投影层、多层感知器（MLP）或BLIP2中的QFormer，将视觉信息融入大语言模型（LLMs）。这类网络仅对图像特征进行一次投影，并未考虑图像与人类输入之间的交互。因此，获取的视觉信息可能与人类意图脱节，无法满足大语言模型生成符合意图的回复，这种信息可称为静态视觉信息。为缓解该问题，本文引入LMEye，这是一种类似人眼的可插拔交互式...多模态大语言模型视觉语言学习交互式感知网络HoVLE：通过整体视觉-语言嵌入释放单体视觉-语言模型的潜力
原创摘要大型语言模型（LLMs）的快速发展催化了视觉语言模型（VLMs）的发展。整体VLMs避免了模态特定的编码器，提供了一种有希望的替代方案，但面临着性能较差的挑战。大多数现有的整体VLMs需要调整预训练的LLMs以获得视觉能力，这可能会降低它们处理语言的能力。为了解决这一困境，本文提出了一种新的高性能整体VLM，名为HoVLE。我们注意到，当图像嵌入与文本嵌入对齐时，LLMs已被证明能够解释图像。当前整体VLMs的挑战实际上在于...大型语言模型视觉-语言模型HoVLEIn-Context Edit：在大规模扩散变换器中通过上下文生成实现指令式图像编辑
原创摘要基于指令的图像编辑能够通过自然语言提示实现强大的图像修改，但当前的方法面临着精度和效率之间的权衡。微调方法需要大量的计算资源和大规模数据集，而免训练技术在指令理解和编辑质量方面存在困难。我们利用大规模扩散变换器（DiT）增强的生成能力和固有的上下文感知来解决这一困境。我们的解决方案有三个贡献：（1）一种基于上下文提示的零样本指令遵从的上下文编辑框架，避免了结构变化；（2）一种LoRAMoE混合调优策略...上下文编辑In-Context Edit生成式DiT开源的阅读顺序（Layoutreader）模型使用指南
原创阅读顺序在文档智能解析中的位置阅读顺序检测旨在捕获人类读者能够自然理解的单词序列。现有的OCR引擎通常按照从上到下、从左到右的方式排列识别到的文本行，但这并不适用于某些文档类型，如多栏模板、表格等。LayoutReader模型使用seq2seq模型捕获文本和布局信息，用于阅读顺序预测，在实验中表现出色，并显著提高了开源和商业OCR引擎在文本行排序方面的表现。Github:https:github.comyujunhuicsLayoutReader权重地址:https:ww...文档智能开源阅读顺序模型Layoutreader多模态文档检索开源方案-三大竞赛获奖方案技术链路
原创前期也提到，在实际场景中，用户通常需要检索多模态文档，包括文本、图像、表格和图表。这需要一个更复杂的检索系统，能够处理多模态信息，并根据用户查询提供相关文档或段落。检索多模态文档将有助于AI聊天机器人、搜索引擎和其他应用程序向用户提供更准确、更相关的信息。因此衍生了一系列的多模态RAG方案，如：开源多模态RAG的视觉文档(OCRFree)检索增强生成方案VDocRAG提到的诸多方案。下面来看看www会议开设的多...多模态文档检索开源基于milvus向量数据库的相似度检索问题——稀疏-密集向量检索和混合搜索
原创 社区头条“不同的向量类型可能会得到不同的检索结果，因此需要根据不同的场景选择合适的检索策略”相似度检索是目前人工智能领域一个非常重要的应用场景，其不仅仅应用于人工智能技术，同样应用于搜索技术；比如搜索引擎，电商搜索等多种技术领域。因此，向量数据库也成为现在技术领域不可缺少的一个中间件；虽然说向量检索主要就是进行向量计算，不管是余弦，还是欧式距离等算法，目的都是通过计算向量之间的位置关系来确定相似度。但...milvus向量数据库向量检索关于人工智能应用场景中前期数据处理的业务场景和技术分析——包括结构化数据和非结构化数据
原创“文档处理是人工智能应用领域中的重要环节，其业务需求复杂，技术实现难度高；因此，怎么处理复杂文档是每个技术人员都需要考虑的问题。”文档处理在当前人工智能行业下是一个非常基础也非常重要的工作，不论是模型的训练和微调，还是以RAG检索增强，亦或者是在传统的搜索引擎(包括百度，谷歌这种搜索引擎；以及电商等内部平台的搜索需求)中都是必不可少的一个重要环节。但面对复杂的文档格式和类型，文档处理的难度相当大；而...人工智能结构化数据非结构化数据关于大模型应用过程中的记忆功能管理问题，以及解决方案
原创“大模型应用的很多功能包括记忆管理，需要的不仅仅只是技术问题，还需要足够的工程化能力才能解决。”众所周知，大模型是没有记忆功能的，因此记忆管理就成为大模型应用过程中必不可少的一个环节；虽然说记忆管理说起来很简单，但在实际操作中还是存在很多问题。比如说，随着记忆的增加token成本的上升，大模型窗口的限制，记忆的存储问题等等。因此，今天就从项目的实际操作中来详细了解一下大模型的记忆功能；开发框架是基于...大模型大模型应用多模态与生成正迈向终极大一统！阿里最新3万字长文梳理统一的多模态理解和生成模型
精华 社区头条文章链接：https:arxiv.orgpdf2505.02567开源链接：https:github.comAIDCAIAwesomeUnifiedMultimodalModels亮点直击阐述多模态理解与文生图模型的基础概念与最新进展;继而梳理现有统一模型，将其归纳为三大架构范式：基于扩散的架构、基于自回归的架构，以及融合自回归与扩散机制的混合架构;整理了适配统一模型的数据集与评测基准，为后续研究提供资源支持;探讨了这一新兴领域面临的核心挑战，包括分词策略、跨模态注意力机制与...图像生成模型AIGraphite框架揭秘：如何用它打造可扩展的AI工作流
原创在当今数字化时代，人工智能（AI）已经渗透到我们生活的方方面面，从日常的语音助手到复杂的企业级应用，AI正在改变我们的工作和生活方式。然而，随着AI应用的不断扩展，企业和开发者们面临着一个共同的挑战：如何构建符合特定业务需求的AI解决方案？今天，我们要介绍的Graphite框架，正是为解决这一问题而生。一、为什么我们需要Graphite？在AI的世界里，已经有许多强大的工具和平台，比如ChatGPT、Claude等。但这些通用的AI解...Graphite框架AI工作流AI应用LeetCode智能教练来袭！多智能体LLM协同架构实战指南
原创 精华在人工智能飞速发展的今天，生成式AI（GenerativeAI）已经成为了技术领域的一颗明珠。从简单的文本生成到复杂的多模态应用，生成式AI正在不断刷新我们对机器智能的认知。然而，随着技术的不断进步，我们发现仅仅依靠单一的大型语言模型（LLM）已经无法满足日益复杂的应用需求。于是，多智能体LLM协同架构应运而生，它通过多个智能体的协作，极大地提升了生成式AI应用的性能和灵活性。今天，就让我们一起深入探索多智能体LLM协同...LeetCode多智能体LLMAI工作流自动化：如何用智能技术夺回企业浪费的30%时间
原创在当今这个快节奏的商业世界里，时间就是金钱，效率就是生命。但你知道吗？许多企业居然还在将高达30%的时间浪费在繁琐的手动流程上！这就好比在高速公路上开着一辆手动挡的老爷车，明明前方有自动驾驶的超跑飞驰而过，自己却还在费力地踩离合、换挡。而AI工作流自动化，就是那辆能为企业夺回宝贵时间、开启智能高速路的超跑。别再犹豫了，AI工作流自动化不是什么遥不可及的未来科技，而是正在当下发生、能彻底改变游戏规则的解...AI工作流自动化AI流程自动化Markovate基础智能体的进展与挑战：人类价值观对齐和安全责任可控
原创FoundationAgent不再将智能体视为LLM的简单应用，而是将其看作一个由认知、记忆、学习、感知、行动等多个核心组件构成的复杂、有机的系统。其核心意义在于提供了系统性框架，强调了自主性，关注协作与生态，并突出了安全与对齐。然而，实现这一愿景也面临着技术复杂度高、需要庞大计算资源、评估困难、自进化可控性问题以及安全与对齐的根本性难题等巨大挑战。论文链接：https:arxiv.orgabs2504.01990随着FoundationAgent能力的...智能体AgentLLM如何使用OpenAI gpt-image-1 API生成和编辑图像
原创 社区头条本文介绍了OpenAI公司最新推出的多模态语言模型gptimage1，该模型能够生成高质量图像并融入现实世界知识。还阐述了gptimage1的关键特性、可用性、定价、访问方式及其在实际应用中的图像生成和编辑方法。最后通过代码示例，展示了如何使用gptimage1API根据文本提示生成和编辑图像。OpenAI公司的ChatGPT在引入图像生成模型之后，迅速在互联网上风靡。人们被其能够生成“吉卜力风格”自画像的能力所吸引，还能将个人回忆转化为动画...OpenAI多模态语言模型图像生成神经网络详解：传统机器学习在计算机视觉领域的局限性
从本篇开始我将会给大家详细的讲解神经网络以及最经典的卷积神经网络。我们都知道神经网络是机器学习的一个分支，而神经网络的延伸和丰富又形成了一个新的学科：深度学习。深度学习目前主要应用在计算机视觉领域，也就是对图片的识别检测和分类。但是既然是图像处理，处理结果就会受到一下几个因素的影响：1.照射角度改变拍照的角度，改变物体的位置，要求能够识别2.光照强度上图中亮度强的白猫可以一眼识别，而亮度低...神经网络机器学习计算机Qwen3 低成本手撕Search-R1的强化学习训练框架
OpenAIo1和DeepSeekR1，通过奖励驱动的学习，而无需依赖于明确的逐步监督，在逻辑推理和迭代推理方面取得了显著的成果。使用RL训练能够更有效地搜索相关信息的策略模型。例如，SearchR1、R1Searcher和ReSearch等模型都尝试通过强化学习来提升模型的搜索能力。这些方法通常使用静态的本地文本语料库，如维基百科，无法捕捉到现实世界交互的复杂性。DeepResearcher引入了与商业搜索引擎（如谷歌）的实时交互，使得模型能够在接近...Qwen3Search-R1强化学习一文实测Gemini 2.5 Pro：视频驱动的代码生成，打造交互式开发应用新范式
根据谷歌官方的描述，在代码能力、多模态能力方面显著增强，特别是交互式Web应用程序，也就是说，现在你可以用这个模型去做各种动态网页，甚至可以直接复刻。优势主要体现在前端和UI开发、基本编码任务以及创建Agent工作流。本次测评主要聚焦于编程、推理能力以及多模态理解能力方面。一、编程能力非常善于处理代码疑难问题。首先在前端Web开发方面表现优秀，并且已经支持cursor的代码编程。Gemini2.5Pro模型目前在WebDevArena...Gemini 2.5 Pro视频代码牛津未来研究院：《将人工智能安全视为全球公共产品的影响、挑战与研究重点》
《将人工智能安全视为全球公共产品的影响、挑战与研究重点》由牛津未来研究院发布，众多机构的专家共同撰写。报告指出，随着AI发展，其安全问题成为关键挑战，探讨将AI安全视为全球公共产品的意义、挑战与研究方向。报告分析了全球公共产品的概念，指出AI安全在技术、知识和制度层面具有公共产品特性，但面临平衡责任与问责、安全与能力纠缠、发展公平性等问题。不同国际声明对AI安全作为全球公共产品的理解存在差异，反映出AI...人工智能安全公共产品深度解析：如何计算 Transformer 模型的参数量
目前，Transformer模型展现出了强大的性能。而了解Transformer模型的参数量对于评估模型的规模、复杂度以及计算资源需求等具有重要意义。下面将详细阐述如何计算Transformer模型的参数量。一、Transformer模型的基本结构回顾Transformer模型主要由编码器（Encoder）和解码器（Decoder）组成。其中，编码器包含多个相同的层级，每个层级包括多头自注意力机制（MultiHeadSelfAttention）和前馈神经网络（FeedForwardNeuralNetwork...Transformer模型参数量
