AI.x社区

今天凌晨，微软宣布其开源AIAgentAutoGen发布0.4版本，全面重新设计的库，在代码稳定性、鲁棒性、通用性和可扩展性方面更好，可以开发前沿高级AIAgent应用。开源地址：https:github.commicrosoftautogen自微软开源AutoGen以来在github已获得超37000颗星，成为AIAgent领域应用最多的框架之一。由于开发者的快速增长，也带来了API效率低下以及调试和干预功能有限等难题。同时开发者对AIAgent自动化行为的可观测性、控制能力、多层...

一、创作背景目前大多数的智能体应用都是围绕娱乐，更多的是一种新鲜事物的尝鲜，比如做海报图片、写广告文案、角色聊天。这主要是考虑到现有大模型的能力边界，只能做一些用户容错性比较大的场景。但我觉得大模型的能力在不断提升，特别是Qwen2.5已经突破了原先的一些能力限制，所以我想有必要去打破和探索一下基于Qwen的智能体的能力边界，做一些在真实经济生活中有真实业务需求的应用，而不仅仅是个人“找个乐子”。所以，虽...

论文链接：https:arxiv.orgpdf2412.21117git链接：https:freemty.github.ioprojectprometheus亮点直击Prometheus，这是一种面向文本到3D生成的3D感知隐空间扩散模型，适用于对象和场景级别。按照标准的隐空间扩散范式，将训练分为两个不同的阶段。在第一阶段，训练一个3D高斯变分自编码器（GSVAE），它以多视角或单视角RGBD图像为输入，预测每个像素对齐的3D高斯。在第二阶段，训练一个多视角LDM，联合预测多视角RGBD隐空间code...

01、概述随着人工智能技术的不断发展，越来越多的创新成果正影响着我们日常生活的各个方面。在这一系列进步中，OpenAI最新发布的o3模型尤为引人注目。它被设计用来提高机器在需要结构化思维的领域中的推理能力，尤其是在数学和科学等复杂领域。o3模型的推出，标志着人工智能在逻辑推理和问题解决方面迈出了重要的一步。今天，我们就来深入探讨一下OpenAIo3模型的强大功能和广泛应用。02、o3模型的核心突破OpenAI通过o3模型，显...

01、引言在商业的浩瀚星河中，一场由人工智能（AI）引领的变革正悄然上演。2024年，AI已不再只是科幻小说中的概念，而是化身为销售与客户关系管理中的得力助手，凭借其强大的能力，重新定义了企业与客户之间的互动方式。从精准的线索生成到深度的客户参与，再到高效的销售优化，AI正将原本繁琐复杂的销售流程变得简单高效，让不同规模的企业都能在激烈的市场竞争中脱颖而出，实现业绩的飞跃。02、AI在销售领域的应用现状（一）...

01、概述在人工智能的浩瀚星河中，大型语言模型（LLMs）犹如一颗耀眼的明星，为现代AI应用注入了强劲动力。它们是聊天机器人、代码生成器等工具背后的“大脑”，凭借海量数据和复杂算法，能够理解、生成自然语言，甚至编写代码，展现出惊人的智能。然而，随着对这些大模型依赖程度的加深，其推理过程中的诸多问题也逐渐浮出水面，成为制约其发展的瓶颈。02、大模型推理的困境注意力机制的局限注意力机制是大模型的核心组件之一...

文章链接：https:arxiv.orgpdf2501.01957git链接：https:github.comVITAMLLMVITA亮点直击VITA1.5，一种多模态大语言模型（LLM），通过精心设计的三阶段训练方法整合了视觉、语言和语音。该训练策略逐步引入视觉和语音数据，缓解了模态冲突，同时保持了强大的多模态性能。对图像、视频和语音理解相关的各类基准进行了广泛评估，并将结果与开源和专有模型进行了比较。VITA1.5展现了与领先的基于图像视频的多模态大语言模型（MLLMs...

最近，笔者系统的看了下一些比较经典的多模态大模型实现思路，本着动手实践的态度，从零到一实现了一个多模态大模型，并命名为​​Reyes（睿视）​​​，R：睿，eyes：眼。Reyes的参数量为8B，视觉编码器使用的是​​InternViT300M448pxV25​​​,语言模型侧使用的是​​Qwen2.57BInstruct​​，与NVLM1.0等相关多模态大模型一样，Reyes也通过一个两层MLP投影层连接视觉编码器与语言模型。最终，Reyes8B（0.447分）以更小的参数...

1、Agent智能体进入黄金发展期AIAgent智能体的发展正步入黄金时代。随着众多新框架的层出不穷和对该领域的持续投入，现在AIAgent智能体已逐步摆脱初期的动荡，迅速崛起，成为开发者的首选，超越了RAG。那么，2025年是否会成为AIAgent智能体系统全面接管报告生成、撰写邮件、预订航班、数据分析等任务的元年呢？​这或许有可能，但距离这一目标还有许多挑战需要克服。在构建AIAgent智能体的过程中，开发者们不仅要考虑选用哪种大...

整理伊风马斯克的CES访谈绝对值得一看！他在半个小时的时间内，抛出多枚重磅炸弹，还是那么原汁原味的马斯克式的大胆预言！AI、机器人、火星殖民、脑机接口、政府效率部……看完整个专访就像看了一部超超前的科幻电影一样过瘾！图片这场视频采访的主持人是Stagwell首席执行官马克佩恩（MarkPenn），Stagwell是家技术驱动的全球营销公司，而Mark曾担任微软的首席战略官和著名政治顾问。话不多说，给这场干货满满的采访画个重点：...

CAG：CacheAugmentedGeneration缓存增强生成。不要做RAG了：当缓存增强生成对于知识任务就足够时检索增强生成（RAG）作为一种通过整合外部知识源来增强语言模型的有效方法，已经得到了广泛应用。然而，RAG引入了检索延迟、文档选择潜在错误和系统复杂性增加等挑战。随着具有显著扩展上下文窗口的大型语言模型（LLMs）的出现，本文提出了一种替代范式，即缓存增强生成（CAG），它绕过了实时检索。我们的方法涉及预先加载所有相关...

在当今数字化时代，AI技术正以前所未有的速度改变着我们的生活和工作方式。在时尚领域，虚拟试衣技术成为了热门话题，而快手推出的KolorsVirtualTryOnintheWild更是其中的佼佼者。它将先进的AI技术与时尚换装完美结合，为用户带来了全新的试衣体验，让我们一起深入了解这款创新的工具吧。一、项目概述KolorsVirtualTryOnintheWild是由快手团队精心打造的一款基于大模型“可图”（Kolors）的AI虚拟换衣工具。它利用前沿的计算机...

原文：RetrievalAugmentedGeneration(RAG)andBeyond:AComprehensiveSurveyonHowtoMakeyourLLMsuseExternalDataMoreWisely每当我向非技术背景的朋友解释大语言模型时，我常常用"博学但缺乏实践经验的应届生"作比喻。这些模型确实掌握了海量的知识，但在特定领域的实际应用中，常常会暴露出"经验不足"的问题。就像一位刚毕业的法学生，虽然能流畅地背诵法条，但面对真实的案件时可能会觉得无从下手。微软亚洲研究院的研究团队近期...

今天给家人们分享一下AgentLess，这个舆论比较高的研究工作。。AGENTLESS:DemystifyingLLMbasedSoftwareEngineeringAgentsAI编程在最近几个月非常火热，像Devin这种自主Agent，已经可以完成端到端的软件开发任务。最新的Agent基本具备了使用工具、执行命令、观察环境反馈并规划下一步行动的能力。但是，这些基于Agent的方法往往非常复杂，而且当前LLM的能力也存在局限性。这就引出了一个问题：我们真的需要如此复杂的自主Agent...

数据处理与分析工具不断推陈出新。其中，JupyterAgent作为新兴的工具之一，正逐渐崭露头角，为数据工作者带来了全新的体验与便利。它巧妙地将大型语言模型（LLM）与Jupyter笔记本相结合，究竟能碰撞出怎样的火花呢？让我们一同深入了解。1JupyterAgentJupyterAgent是一款实用的工具，能够让大型语言模型（LLM）在Jupyter笔记本中实现直接交互和代码执行功能。具备以下多种实用功能：快速且高效地加载数据；准确运行用户编写的Py...

EmbeddingsEmbeddings会分为两个章节，前部分主要还是放在常规方法总结，后者主要放在神经网络技术。其实这个英文单词不难理解，就是将对象用数字标识描述。其实一直纠结是否要讲述这个话题，因为可深可浅。若要用一句话概括，就是给输入分配一个数字标识，可以是一个整数数值也可以是一个向量。不过最重要的目的是在模型训练的过程中能够高效且有效的学习参数。这里需要解释下向量，例如apple可以使用三维的向量[0.95,0.23,0.2...

大家好，我是刘聪NLP。前段时间一直都在尝试用多模态大模型进行落地应用，除了问答之外，那么最容易想到的就是文档解析了。一来多模态大模型本身就有强大的OCR功能，二来知识加工对于大模型落地来说也是重中之重，三来现在很多文档拆解的API或者项目，效果都没有那么理想吧，比如：夹杂公式的文本、复杂表格等。思路是不是很正，于是乎我就尝试用多模态大模型进行表格解析的任务了。结果就是：全是眼泪！痛，太痛了！今天此贴主...

1.表格问答的现状表格问答（TQA，TableQuestionAnswering）是指依据表格形式的数据来回答问题。表格问答任务的任务也越来越复杂，要解决这些复杂任务，就得执行多个推理步骤（多步骤）或者运用不同的推理策略（多类别）。。处理TQA中这些复杂实例的一种常见方法是规划，生成详细的逐步计划并引导推理过程。该方向有两种方法：•针对开源大型语言模型（LLMs）进行微调，但微调需要高质量的数据，通常难以获取•使用闭源的商业LLM...

本文介绍了语音控制前端应用程序的自然语言处理（NLP）方法，以及语音识别、自然语言理解（NLU）等方面的最新进展。由于智能设备、虚拟助手和免提界面的日益普及，语音控制前端应用程序获得了更多的关注。自然语言处理（NLP）是这些系统的核心，能够实现类似人类的理解和语音生成。本白皮书介绍了语音控制前端应用程序的NLP方法的深入研究，阐述了语音识别、自然语言理解和生成技术的最新技术，以及它们在现代Web前端中的架构集...

编辑伊风好逆天！英伟达78%的员工都是百万富翁了！而且每两个人里面就有一个资产过亿！你们有钱人那么多，多我一个会怎么样！这项数据来自一项对员工的调查：在英伟达的3万名员工中抽取3000人，数据显示7678%的员工是百万富翁，约50%的员工净资产超过2500万美元（折合人民币1.775亿元！算出结果的时候简直不敢信）。其实这项调查是去年6月份开展的，因为风投投资人RubénD.在领英上分享的信息，这件事又火了一把，也放出来更多...