AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
中山大学、美团联合团队推出行为正则化与顺序策略优化结合的离线多智能体学习算法
离线多智能体强化学习（MARL）是一个新兴领域，目标是在从预先收集的数据集中学习最佳的多智能体策略。相比于单智能体情况，多智能体环境涉及到大规模的联合状态动作空间和多智能体间的耦合行为，这给离线策略优化带来了额外的复杂性。随着人工智能技术的发展，多智能体系统在诸如自动驾驶、智能家居和机器人协作等方面展现了巨大的应用潜力。但是离线MARL较单智能体情况下更加复杂，其涉及庞大的联合状态动作空间和多智能体间...算法多智能体MARL大模型面试实战！Prompt调优
一、什么是Prompt调优？Prompt调优，顾名思义，是通过调整输入给模型的提示词（Prompt），来引导模型生成更为准确、连贯或符合预期的输出。随着大语言模型如GPT系列的出现，Prompt的设计成为了提高模型效果的重要工具。在面试中，解释Prompt调优的第一步是确保面试官理解你为什么要调优，即你遇到了什么问题。二、案例实战从问题出发在构建AI系统时，最初的版本往往会暴露出模型的局限性。以下是阿里云团队发布的客服系统回答质...模型Prompt调优如何在安卓手机上本地安装和运行LLM?
原创了解如何将AI的力量径直带入到你的安卓手机上：没有云，没有互联网，只有纯粹的设备端智能！在安卓手机上本地运行大语言模型（LLM）意味着你可以在不依赖云服务器或互联网连接的情况下访问人工智能（AI）模型。这种本地环境通过确保数据安全、并在设备端来确保隐私。随着移动硬件领域的发展，在本地运行AI模型已成为了现实。MLCChat应用程序可以让你很容易直接在手机上体验这种功能强大的技术。本文将解释在安卓手机上本地运行L...大语言模型LLMAI模型GraphRAG+Langchain实现大模型知识图谱
理解GraphRAG其实并不难，可以理解为由两个主要模块组成：向量检索(LocalSearch)局部知识图谱社区检索(GlobalSearch)所谓GraphRAG一定程度上可以理解为使用LLM生成知识图谱，在对复杂信息进行文档分析时可显著提高问答性能，尤其是在处理私有数据时。GraphRAG构建流程主要是以下三个：图表作为内容存储：提取相关文档块并要求LLM使用它们进行回答。这种变体需要一个包含相关文本内容和元数据的KG，以及与矢量数据库的集成。Grap...GraphRAGLangchainOCR-free感知多模态大模型技术链路及训练数据细节
原创目前的一些多模态大模型的工作倾向于使用MLLM进行推理任务，然而，纯OCR任务偏向于模型的感知能力，对于文档场景，由于文字密度较高，现有方法往往通过增加图像token的数量来提升性能。这种策略在增加新的语言时，需要重新进行训练，计算开销较大，成本较高。因此，本文再来看看vary和got这两个衔接工作，看看其完整的技术链路。Vary传统的vlm做法和vary技术点：新视觉词汇表的生成：设计了一个词汇网络和一个小型解码器Transfo...多模态大模型史上最贵！首个AI Agent程序员商业化，比ChatGPT Pro贵2倍
精华今天凌晨1点，全球首个AIAgent程序员Devin宣布全面开放使用，实现商业化。只是价格不是一般的贵，前几天OpenAI发布的ChatGPTPro可以无限使用满血o1、新版本Sora等功能，一个月才200美元。Devin直接一步到位500美元一个月，也是目前最贵的生成式AI产品之一。网友表示，这是一个糟糕的商业模式。大团队的费用微不足道，小团队或个人的费用却高得难以承受。你最起码出一个，个人订阅模式吧。500美元真的很贵了。最好的一个月，好产...AI程序员比Janus更强！15M数据实现颠覆性统一多模态大模型！华为诺亚提出ILLUME
文章链接：https:arxiv.orgpdf2412.06673亮点分析本文提出了ILLUME，这是一种统一的多模态大语言模型（MLLM），能够在单一的大语言模型（LLM）中无缝整合视觉理解与生成功能，并通过语义视觉分词器和三阶段训练流程实现高效训练。为了促进理解与生成能力的协同增强，本文提出了一种新颖的自增强多模态对齐机制，该机制训练MLLM自行评估文本描述与自生成图像之间的一致性。ILLUME在现有的统一多模态大语言模型中表现出色，并在多...模型生成适用于多图的多模态大模型：粗粒度离散表征+细粒度连续表征提升图像编码准确性
今天给大家介绍一篇北大、阿里联合发布的多模态大模型工作。这篇文章重点解决多图像输入的多模态大模型建模方法，融合粗粒度、细粒度信息，显著提升了多模态大模型在多图输入复杂场景中的效果。论文标题：MaVEn:AnEffectiveMultigranularityHybridVisualEncodingFrameworkforMultimodalLargeLanguageModel下载地址：https:arxiv.orgpdf2408.123211.研究背景现有的多模态大模型，大多数研究的都是一个图像输入的场景。而...多图多模态大模型OpenAI直播第四日，ChatGPT迎来“All things Canvas”时代，全部用户开放体验
SamAltman照例缺席，首席产品官KevinWeil主持了第二日活动，围绕十月份发布的Canvas展开，经过一个多月的迭代，Canvas能力再上一个台阶，由它加持的ChatGPT已经从单纯的对话工具转型为一个强大的生产力平台，同时宣布将Canvas功能全面开放，所有用户都能免费体验。我们一起速览canvas升级了些什么？本次更新的主要亮点包括：1.协作式写作左侧对话模式与右侧可编辑文档完美结合支持实时修改建议和一键应用更改提供多样化的编辑选...ChatGPTAIGPTs910B芯片Swift多模态模型分布式训练实践
一、环境准备1.前置条件首先准备好训练机器和数据，笔者采用了32节点910BNPU，300万网页训练数据。2.环境配置环境安装，首先安装多模态训练框架msswift，安装torchnpu及deepspeed。安装msswift(当前推荐从源码安装,待发版后可直接pip安装)gitclonehttps:github.commodelscopeswift.gitcdswiftpipinstalle'.[llm]'安装torchnpupipinstalltorchnpudecorator安装deepspeedpipinstalldeepspeed完整python依赖版本见文末附录3.环境验...910B芯片Swift多模态SFT loss计算的那些坑，完美避开！！！
SFT可以说是LLM的基本操作了，如果只是想把SFT跑起来是非常简单的，只需要构造inputids和labels，然后就可以把训练跑起来。然而，这样的训练效率实际上非常低。所以在训练时，通常有两个加速方法：多轮合并packing无论是哪种方法，加速后都需要保证loss和原来是等价的。本文主要介绍这两种加速方法，以及loss计算时遇到的问题。1.多轮合并假设我们有一个对话，其中user和bot交互了3轮，我们可以构建三个样本：inputids就是对...SFT计算LLM艾伦人工智能研究所 (AI2) 发布 OLMo 2：在多达 5T 代币上训练的新系列开源 7B 和 13B 语言模型
原创 精华01、概述在人工智能的世界里，语言模型的发展无疑是最令人瞩目的领域之一。这些模型不仅在机器翻译、内容生成和对话式AI应用中扮演着关键角色，而且它们的发展速度和影响力正以前所未有的速度增长。今天，我们就来聊聊这个领域最新的突破——OLMo2，一个由艾伦人工智能研究所（AllenInstituteforAI）推出的开源语言模型家族，它们正在重新定义开源AI的边界。02、语言模型的挑战与开源的重要性语言模型的发展一直面临着一个难题...大语言模型NVIDIA AI 推出 Fugatto：一个 25 亿参数的音频模型，可从文本和音频输入生成音乐、语音和声音
原创 精华01、概述在音乐和声音的世界中，创作、编辑和转换音乐和声音一直是一项技术与创意并存的挑战。当前的AI模型往往在多样性上挣扎，它们擅长于狭窄的任务或缺乏有效泛化的能力。这限制了AI辅助制作的发展，并阻碍了创意的适应性。为了让AI真正为音乐和音频制作做出贡献，它必须具备多样性、作曲能力，并能响应创意提示，让艺术家能够创造出独特的声音。显然，我们需要一个能够驾驭音频和文本交互细节、执行创意转换并提供高质量输...Fugatto音频模型RARE: 提升LLM推理准确性和事实完整性的检索增强框架思路浅尝
原创MCTS&rStar蒙特卡洛树搜索（MCTS）蒙特卡洛树搜索（MCTS）是一种用于解决复杂决策问题的算法，常用于游戏等领域。它的基本思想是通过构建一棵搜索树并模拟各种可能的行动来估计每个行动的价值。MCTS的过程可以分为四个主要步骤：选择（Selection）：从根节点开始，根据某种策略（如UCT）遍历子节点，直到找到一个叶节点。UCT（UpperConfidenceBoundappliedonTrees）是一种平衡探索和利用的策略。扩展（Expansion）：在叶节点，...RAGLLM时间序列模型的演变：人工智能引领新的预测时代
原创我们正处于这样一个时代：大型基础模型（大规模通用神经网络以无监督的方式使用大量不同的数据进行预训练）彻底改变计算机视觉、自然语言处理以及最近的时间序列预测等领域。这种模型通过实现零样本预测来重塑时间序列预测领域，允许使用新的、未见过的数据进行预测，无需针对每个数据集进行重新训练。这一突破显著缩减了开发时间和成本，简化了为不同任务创建和微调模型的过程。机器学习方法在时间序列预测中的作用首次在M4和M...人工智能机器学习神经网络RPA和Agent智能体区别应用场景
原创在当今快节奏的数字化时代，企业面临着日益复杂的业务流程和不断增长的效率挑战。而RPA，即机器人流程自动化，正以其强大的实力成为企业变革的关键驱动力。RPA是什么？和Agent什么关系？它就像是一位不知疲倦的数字员工，能够模拟人类在计算机上的操作，自动执行重复性、规律性的任务。从数据录入、文件处理到报表生成，RPA可以精准无误地完成各种繁琐工作，极大地提高工作效率，降低人力成本。RPA拥有诸多卓越特性。它具备高度...RPAAgent智能体codebook从崩溃到高效利用！南大&清华&腾讯联合打造IBQ：自回归生成最强视觉分词器
论文链接：https:arxiv.orgpdf2412.02692github链接：https:github.comTencentARCSEEDVoken亮点直击提出了一种简单而有效的向量量化方法，称为索引反向传播量化（IndexBackpropagationQuantization，IBQ），用于训练可扩展的视觉分词器。通过增加码本大小、编码维度和模型规模来研究IBQ的扩展特性。IBQ首次训练了一个超大码本（），具有大维度（256）和高使用率，实现了最先进的重建性能。展示了一系列从300M到2.1B的基础自回归...模型代码最新开源Auto-RAG：最低成本解决多跳问题
1.引言1.1RAG的局限与迭代检索的提出在知识密集型任务中，大语言模型（LLMs）的检索增强生成（RAG）虽应用广泛，能提升输出质量、减少幻觉，但仍存缺陷。比如，检索内容常含噪声，这会致使RAG系统性能下滑。复杂查询时，单次检索难以获取充足知识，进而阻碍RAG系统的广泛应用。为攻克这些难题，迭代检索应运而生，其持续更新检索结果，以契合生成进程里动态变化的信息需求。可现有的迭代检索方法多依赖少样本提示或手动构建规则...AutoRAG开源人工智能的未来——AI Agent和Agentic AI的区别与联系
原创“科学的本质就是怀疑一切”前几天有一个评论问我AIAgent和AgenticAI是否一样，有什么区别；当时看到这个问题就有点蒙，AIAgent我知道，但AgenticAI是什么，这个词还是第一次听说。所以这几天就趁着摸鱼时间看了一下AIAgent和AgenticAI的区别，也在这里简单记录一下，可能理解的并不是很准确，但就当自己的学习记录吧。AIAgent和AgenticAI的区别与联系说实话刚开始看到AgenticAI还是挺蒙的，这玩意和AIAgent是如此的相像，然后...AI AgentAgentic AILLM合集：港大利用GPT-4o生成QA对，打造大规模多模态视频思维链（COT）数据集
1.VideoEspresso:ALargeScaleChainofThoughtDatasetforFineGrainedVideoReasoningviaCoreFrameSelection大型视觉语言模型（LVLMs）的进步显著提升了多模态理解能力，但在视频推理任务中仍面临挑战，主要原因是高质量、大规模数据集的缺乏。现有的视频问答（VideoQA）数据集往往依赖于成本高昂且粒度不足的手动标注，或者使用会产生冗余帧分析的自动构建方法，这限制了它们在复杂推理任务中的可扩展性和有效性。为了解决这些挑战...LLMGPT-4oQA
