AI.x社区

介绍根据观测数据执行预测是广泛科学学科中普遍关注的问题。传统上，科学家们通过开发数学模型来解决这个问题，这些模型利用他们对潜在物理过程的了解将观察与预测联系起来。然而，在许多实际情况下，由于缺乏系统特定信息，构建这种显式模型是不可行的.近年来，出现了一类涉及人工智能（AI）的纯数据驱动方法，并取得了显著的成功.这些方法通常被称为黑盒模型，因为它们不依赖于对系统内部工作原理的深入理解，并且旨在直接从...

引言随着科技公司及国际竞争的不断推进，AI大模型已经越来越多融入我们的生活。作为一个普通人或许不需要研究高深的AI算法，但想在这次AI浪潮中不被抛弃，必须对LLM原理有一个基本的理解。理解LLM（即LargeLanguageModel，大语言模型）如何生成文本也就意味着理解这些模型为什么是如此通用的认知引擎——以及它们还能帮助创造什么。令牌化和向量化（Token&Vectorization）首先，让我们从令牌化和向量化开始，这一部分内容将为大...

一、引言现代研究发现，训练大语言模型（LLMs）时增加计算量会带来更好的结果，但在推理时增加计算量的好处却较少被关注。本文聚焦于推理时的方法，探讨了令牌级生成算法、元生成算法和高效生成这三个主题。二、相关概念及背景1、用户目标在生成中的作用：用户使用语言模型生成输出时，可能希望获得高质量、多样化的输出，例如解决数学问题的正确答案或符合事实且写得好的总结。为了形式化这个目标，我们引入了“可接受性”的概...

RAG技术已经成为当下提升大语言模型（LLMs）生成质量的重要手段。然而，传统的RAG方法在处理模糊信息需求或非结构化知识时存在显著局限性。近期，一项名为《MEMORAG:MOVINGTOWARDSNEXTGENRAGVIAMEMORYINSPIREDKNOWLEDGEDISCOVERY[1]》的研究提出了一种创新的RAG框架——MemoRAG，通过引入长时记忆模块，显著提升了RAG系统在复杂任务中的表现。MemoRAG的创新架构现在我们仍然以图书馆找书为例介绍MemoRAG的思路。想象一下，你在...

法国国家高等教育计算中心、巴黎萨克雷大学的研究人员联合开源了专用于法律领域的大模型——SaulLM。SaulLM一共有540亿、1410亿两种参数，以及基础模型和指令微调两种版本。SaulLM的最大特色是使用了5400亿token的专业法律数据进行了预训练，包括美国、欧洲、澳大利亚等地的法律文本，输出内容的准确率高于很多同类模型。开源地址：https:huggingface.coEquallSaulLM54Base指令微调：https:huggingface.coEquallSaulLM141BInstr...

论文链接：https:arxiv.orgpdf2405.14854项目链接：https:github.comLuckyLanceTerDiT最近在大规模预训练的文本到图像扩散模型方面的发展显著提高了高保真图像的生成能力，特别是基于transformer架构的扩散模型（DiTs）的出现。在这些扩散模型中，扩散transformer展示了卓越的图像生成能力，降低了FID分数并提高了可扩展性。然而，由于其庞大的参数数量，部署大规模的DiT模型可能会非常昂贵。尽管现有研究已经探索了扩散模型的...

文章链接：https:arxiv.orgpdf2409.04004git链接：https:github.comdailensonOneDM亮点直击提出一种创新的扩散模型，用于生成风格化的手写文本。这一模型的显著特点是只需一个参考样本作为风格输入，便能模仿该样本的书写风格，生成任意内容的手写文本。这种方法的简化使得风格化手写文本的生成更加高效和便捷。引入了参考样本中的高频成分，以增强手写风格的提取。通过采用这种风格增强模块，能够更精确地捕捉书写风格的细微模...

编者按：您是否曾经遇到这样的情况：明明构建了一个功能强大的RAG系统，但用户却频繁抱怨“找不到想要的信息”或“返回的结果不够准确”？这是许多RAG应用开发者面临的共同挑战。这个问题不仅会导致用户体验下降，更可能直接影响RAG系统的使用率和实际价值。如果未能得到妥善解决，之前的辛苦工作恐将付之东流，甚至影响整个项目的成功。这篇文章并非纸上谈兵，而是源自作者在实际项目中的第一手经验。文章详细介绍了5种QueryTr...

一、惊爆背景与动机在计算机图形学的世界里，传统三维重建技术虽然基于体积场景表示，但在用于反渲染时，那计算复杂度简直让人头疼。而近期呢，有研究开始使用辐射缓存来模拟全局光照，本以为找到了救星，可谁能想到现有方法存在偏差，这就像一颗老鼠屎坏了一锅粥，严重影响了渲染质量和优化梯度。二、相关工作大揭秘1、逆渲染：这可是个神秘的魔法，旨在从一组图像中恢复场景属性，比如材料、光照和几何形状。想象一下，就像从...

本文将给出有关机器学习重要基础工具——决策树分类器的深度解析，并提供一个生成一棵简化型决策树的完整案例。简介决策树在机器学习中无处不在，因其直观的输出而备受喜爱。谁不喜欢简单的“ifthen”流程图？尽管它们很受欢迎，但令人惊讶的是，要找到一个清晰、循序渐进的解释来分析决策树是如何工作的，还是一项具有相当挑战性的任务。（实际上，我也很尴尬，我也不知道花了多长时间才真正理解决策树算法的工作原理。）所以...

一、背景之前的文章中我们详细介绍了大规模分布式训练中的数据并行（DataParallelism，DP）、张量并行（TensorParallelism，TP）和流水线并行（PipelineParallelism，PP）。这篇文章中我们继续介绍MoE中经常使用的专家并行（ExpertParallelism，EP），以及EP中涉及的相关All2All操作和优化手段等。二、引言2.1标准All2AllAlltoAll是集合通信库（比如NCCL）中另一种常见的通信原语，用于多个设备之间进行数据交换。AlltoAlll操作...

1.背景大语言模型在工业界应用的一个主要障碍就是大语言模型（LLMs）不遵循标准化输出格式。这种不一致性，使得输出解析变得更为复杂，也削弱了这些模型的可靠性。所以，大家普遍会采用结构化输出的方式来规避这一问题，也就是使用格式化限制，比如以标准化格式进行输出，比如：Json、XML等。这些限制可以通过多种方式来实现，比如指示模型遵循带有格式限制指令的指定格式，或者使用像JSON模式这样的标准解决方案。这些方案让LL...

之前很多研究都是生成、发现、过滤高质量的通用指令微调数据，而大家对代码任务的越发关注，如何构建更好的代码指令调整数据也越发重要。下面给大家带来一篇筛选高质量代码指令微调数据的文章，主要基于指令的复杂性、回复质量和指令的多样性三个维度来进行样本的筛选，同时也指出了当前部分代码指令数据在HumanEval上存在严重的数据泄露。Paper:https:arxiv.orgabs2409.03810Github:https:github.combanksy23XCoderDataHF:http...

文章链接：https:arxiv.orgpdf2408.14211git链接：https:thuhcsi.github.ioMagicMan亮点直击提出MagicMan，一种旨在从单一参考图像生成高质量多视角人像的方法，从而促进无缝的3D人体重建。提出了一种高效的混合多视角注意力机制，以生成更密集的多视角人像，同时保持更好的3D一致性。引入了几何感知的双分支结构，在RGB和法线领域同时进行生成，通过几何线索进一步增强多视角一致性。提出了一种迭代优化策略，逐步提高SMPLX姿...

文章链接：https:arxiv.orgpdf2408.03209git链接：https:unityresearch.github.ioIPAdapterInstruct.github.iodemo链接：https:huggingface.cospacesunityIPAdapterInstruct亮点直击提出IPAdapterInstruct模型：结合自然图像条件与文本指令，灵活切换多种解释方式（如风格迁移、物体提取），简化任务处理。增强生成控制：改进传统图像条件方法，通过指令提示在同一条件图像下处理多种解释，提高生成控制精度。高效学习与灵活性...

嘿，大家好！这里是一个专注于AI智能体的频道！今天给大家安利一个开源框架muAgentv2.0：KG引擎驱动的创新Agent框架。由LLM和EKG（EventicKnowledgeGraph，行业知识载体）驱动的全新Agent框架，协同利用MultiAgent、FunctionCall、CodeInterpreter等。通过基于画布的拖放和简单的文本编写，大语言模型可以辅助您在人工指导下执行各种复杂的SOP。它兼容市场上现有的框架，可以实现四大核心差异化技术功能：复杂推理、在线协作、...

“透过现象看本质，才是最应该做的选择”对大模型了解的人应该知道，大模型是因为openAI的GPT模型爆火的，当然大模型的发展也是经过多年的发展才有了今天的地步。在之前的文章中也介绍过，大模型的全程是大规模预训练语言模型的简称，也就是说大模型刚开始是在语言处理领域大放异彩的。因此，可以说大模型是深度学习，也就是神经网络模型与自然语言处理相结合而产生的一种技术。而随着大模型在自然语言处理领域的爆发，一些技术...

RAG系统包含两个核心组件：检索器和生成器，本文将介绍如何评估这两个组件。检索增强型生成（RAG）系统被设计用来提升大型语言模型（LLM）的响应质量。当用户提交查询时，RAG系统从向量数据库中提取相关信息，并将其作为场景传递给LLM。然后，LLM使用这个场景为用户生成响应。这一过程显著提高了LLM反应的质量，减少了“幻觉”。图1RAG系统工作流程在图1的工作流程中，RAG系统中有两个主要组件：检索器：它利用相似度搜索的能力...

01.Complexitybasedpromptingformultistepreasoning（ICLR2023)基于复杂度的提示方法用于多步推理摘要：我们研究了如何提示大规模语言模型进行多步推理。已有研究表明，当使用链式思考（CoT）提示，即用一系列短句描述从问题到答案的中间推理步骤时，大型语言模型能够为新的输入生成新的推理链并预测答案。本研究的核心问题是：哪些推理示例能成为最有效的提示？为此，我们提出了基于复杂度的提示方法，一种用于多步推理的简单...

“算子指的是神经网络中完成特定功能的一些算法节点”在学习人工智能技术的过程中，简单学习了一些关于机器学习和神经网络的基础知识，以及大模型的训练和微调过程。然后就把大部分精力放到了大模型的应用之上，比如AIGC，知识库，Agent等。而今天，我们来了解一下大模型技术的实现之——算子。算子关于算子这个概念，也是最近几天刚接触到的，在此之前都没听过这个名词。还是闲来无事浏览招聘网站的时候，看到有招聘算子开发的...