AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
ViT篇外：NVIDIA Llama-3.1-Minitron 4B
大家也许会很好奇为什么在ViT章节插入了NVIDIALlama3.1Minitron4B，ViT因为应用场景的特殊性所以都寄希望于高效率的模型，因此各种针对大参数模型的提炼和优化技术层出不穷。而NVIDIALlama3.1Minitron则复现了这些系列的教科书实验。对于一些基本的术语，可以移步ViT1温习一下。1.Llama3.1Minitron4BLLMs例如Llama3.1405B和NVIDIANemotron4340B在许多具有挑战性的任务中表现出色，包括编码、推理和数学。但是部署它们需...ViTLlama-3.1Logit谷歌拥抱英伟达！推出云端GPU，把AI引进无服务器，开源大模型爱好者福利来了
原创编辑言征有点震惊，谷歌也开始拥抱英伟达的GPU了！尽管有着自家的TPU，但为了更好地市场竞争，英伟达的GPU终究是绕不开（皮衣客黄教主尽情笑吧！）近日，谷歌抖了大料：不仅推出了云端的GPU，把AI引进了Serverless，同时赠送了几个开源大模型以供开发者进行部署和微调。这对开源大模型爱好者们而言是一个重大利好：省事更省钱了。这相当于不管是硬件的算力，还是软件层面的大模型，谷歌直接给出了一个完整的全家桶，不必再苦于...GPU谷歌AI披上Agent盔甲的RAG，从此不再只是召回生成！
精华嘿，大家好！这里是一个专注于AI智能体的频道！今天我要和大家聊聊一些实战相关的内容。大模型在实际的工业场景下最常见的2个场景分别为应用助手（copilot）,文档知识库问答（RAG）。事实上后者也逐渐在往更复杂的Agentic方向发展了，今天我们来看以下如何搭建一个可控的RAGAgent。RAGAgent核心是它的“大脑”，一个复杂的确定性图，它能让AI进行复杂的推理。而且，这个系统一般还能防止“幻觉”。确保所有答案都基于提供的数据...RAGAgent模型谷歌通过数据增强、对比调优，减少多模态模型幻觉
随着Gemini、GPT4o等模型的出现，具备看、听、说的多模态大模型成为了新的主流。由于训练数据复杂、模型架构过于复杂，在生成、识别内容时很容易出现错误描述也称为“幻觉”，例如，当看到一张包含刀、叉和勺子的餐具图片时，模型会错误地描述为牙签。为了解决这个难题，谷歌DeepMind、谷歌云AI研究、向量研究所和皇后大学的研究人员通过数据增强和对比调优的方法开发了HALVA模型。论文地址：https:arxiv.orgabs2405.18654HALVA...数据模型微软开源Phi-3.5：支持手机、平板电脑，性能超Llama 3.1
微软开源了最新Phi3.5系列模型，共有mini指令微调、专家混合和视觉微调三种模型。Phi3.5系列的参数非常小，但性能却超过了Meta最新开源的Llama3.18B和Mistral7B等知名开源模型，也是目前开源大模型排行榜中唯一入选前10名的小参数模型。所以，微软开源的Phi3.5系列是专门面向那些算力、硬件有限的中小企业和个人开发者，同时可以部署在手机、平板电脑等移动设备中使用。Mini开源地址：https:huggingface.comicrosoftPhi3.5minii...微软开源大模型训练核心算法之——反向传播算法
原创“反向传播是大模型训练的核心，没有反向传播就没有大模型”了解过大模型技术的人应该都知道，大模型有几个核心模块；对应的也有几个核心技术点，比如训练数据的准备，机器学习(神经网络)模型的设计，损失函数的设计，反向传播算法等。而今天讨论的就是反向传播算法，其可以说是模型训练的核心模块，没有反向传播模型训练就无从谈起。那么，反向传播算法是怎么实现的呢？其技术原理是什么？有哪些注意点？反向传播算法的实现介...大模型反向传播持续义无反顾地拥抱AI，以AI来寻找破局之法
如果用一个词来形容过去几年有赞走过的道路的话，摸索，无疑是再合适不过的了。的确，有赞在过去的几年之中一直都在寻找一种能够跳脱出以往互联网式的发展模式的方式和方法，虽然这个过程非常痛苦，但是，有赞却挺了过来。一切的一切都是从有赞开始全面拥抱AI开始的。可以说，AI，给了有赞第二次生命。正是因为如此，有赞创始人白鸦才会说，有赞将会持续义无反顾地拥抱AI，以AI来寻找破局之法...AI人工智能Kubeflow集成Volcano实现高效AI训练
1.概念Kubeflow是一个机器学习平台，旨在简化ML模型的开发、训练、部署和管理。它提供了一系列工具和组件，包括JupyterNotebook、TFJob、Katib（超参数调优）、KFServing（模型服务）等，使用户可以在Kubernetes集群上轻松运行和管理机器学习工作流。Volcano是一个Kubernetes调度系统，专为批处理、HPC、AI和大数据工作负载设计。它通过提供先进的调度策略、资源公平分配和作业管理功能，优化了资源利用率和任务执行效率。Volca...KubeflowVolcanoAI极限套娃，Agent自动设计Agentic系统！
Agent智能体系统正在作为通用工具被广泛研究和应用，解决复杂问题通常需要由多个组件组成的复合智能体系统，而手工设计的解决方案最终会被学习到的更高效的解决方案所取代。为此，提出了自动化设计智能体系统（ADAS：AutomatedDesignofAgenticSystems，已开源）的新研究领域，目标是自动创建强大的智能体系统设计。通过代码定义整个智能体系统，并由一个“元Agent”自动发现新的智能体，理论上允许ADAS算法发现任何可能的构建块...AgentAgentic系统LangChain百万代码全解析：这个模型胃口很大！
精华小试牛刀，很懂《三体》恋爱脑云天明！在谈论AI的代码解析能力之前，我们不妨先看一下它在处理自然语言文本方面的表现。为了测试GLM4Long的理解力，我决定让它尝试阅读并理解我最爱的科幻小说94万字的《三体》。抽取概括能力作为一个具有强大理解能力的模型，必须具备从复杂的文本中抽取出关键的信息，并进行总结。当一次性输入整本小说，模型能有怎样的表现呢？我决定以《三体》中的恋爱脑云天明为例，我们可以让模型梳理出云...LangChain代码GLM机器遗忘：为什么教AI学会遗忘至关重要？
译者布加迪审校重楼一旦你学到了东西，就很难忘记。可以想象，这个道理同样适用于机器，特别是对于使用数十亿个参数进行训练的大语言模型（LLM）。在当下，大语言模型能够处理语言或生成以假乱真的图像，许多未解决的伦理问题继续出现：包括OpenAI因使用受版权保护的新闻文章来训练其AI模型而被起诉，以及艺术家们指控科技公司未经许可非法使用他们的作品作为训练数据。诚然，AI领域的发展现状是一个道德雷区，这导致了最近所谓...机器遗忘AILLM一文总结扩散模型（Diffusion Model）在时间序列中的应用
扩散模型是目前生成式AI中的最核心模块，在Sora、DALLE、Imagen等生成式AI大模型中都取得了广泛的应用。与此同时，扩散模型也被越来越多的应用到了时间序列中。这篇文章给大家介绍了扩散模型的基本思路，以及几篇扩散模型用于时间序列的典型工作，带你理解扩散模型在时间序列中的应用原理。1、扩散模型建模思路生成模型的核心是，能够从随机简单分布中采样一个点，并通过一系列变换将这个点映射到目标空间的图像或样本上。扩散...扩散模型时间序列360发布FancyVideo:通过跨帧文本指导实现动态且一致的视频生成SOTA！
精华文章链接：https:arxiv.orgpdf2408.08189项目链接：https:360cvgroup.github.ioFancyVideo亮点直击本文介绍了FancyVideo，据众所知的首个探索T2V任务中跨帧文本指导的开创性尝试。该方法为增强当前的文本控制方法提供了新的视角。本文提出了跨帧文本指导模块（CTGM），该模块构建跨帧文本条件，并随后以强大的时间合理性引导潜在特征的建模。它可以有效地增强视频的运动性和一致性。本文证明了结合跨帧文本指导是一种实现高质量...视频生成 测试T2I与StlyeGAN2首次联手！PreciseControl:单肖像生成精细个性化图像！
论文链接：https:arxiv.orgpdf2408.05083工程主页：https:rishubhpar.github.ioPreciseControl.homegit链接：https:github.comrishubhparPreciseControl最近，大家看到了一波针对文本到图像（T2I）扩散模型的个性化方法的兴起，这些方法通过少量图像来学习一个概念。现有的方法在用于人脸个性化时，难以实现具有身份保留的令人信服的反演，并依赖于对生成的人脸进行语义文本编辑。然而，人们希望对面部属性进行更细粒度的控制，...AI图像生成利用多Lora节省大模型部署成本
精华如何把多个大模型合并部署以节省成本呢？本文将深入探讨这一技术与应用场景，利用多Lora合并部署大模型。一、背景近期，我们在大模型集群的部署过程中遇到了一些挑战。公司有多个业务场景，每个场景都基于自身的数据进行微调，训练出相应的大模型并上线。然而，这些场景的调用量并不高，同时大模型的部署成本较为昂贵，这造成了资源的浪费。本文将介绍我们如何利用多Lora技术，将多个场景合并部署，从而有效解决这一问题。同时...Lora模型部署AI给《黑神话：悟空》生成了一个宣传片…看完我沉默了
精华足足等了四年，《黑神话：悟空》，终于来了！但我们上班的“吗喽”玩不着，于是灵光一闪，不妨用AI的方式来解猴瘾——用AI给《黑神话：悟空》生成一个宣传片。说干就干。我们以官方的最新宣传片做模板，小伙伴们可以先欣赏一波：《黑神话：悟空》最终预告我们的操作方式是这样的——截取最新宣传片中的多个关键帧，然后用智谱AI的清影（免费、无限次）生成视频片段，最终将它们拼接到一起。操作上并没有什么难度，等待时长也是...AI生成Transformer，会笑到最后吗？
原创出品51CTO技术栈（微信号：blog51cto）Transformer架构为当今最流行的公共和私有AI模型提供支持。那么我们想知道——接下来是什么？这种架构是否会带来更好的推理？Transformer之后会是什么？一、Transformer的问题及其挑战者们Transformer架构的自注意力机制允许模型同时衡量每个输入token对输入序列中所有token的重要性。通过捕获长距离依赖关系和复杂的token关系，这有助于提高模型对语言和计算机视觉的理解。然而，这意味着...TransformerAIGenAIAgentWrite：为什么你的模型生成的内容长度总是不超过2K?
精华1.为什么要研究LongWriter随着大语言模型的发展，越来越多的大语言模型都具备了长上下文能力，甚至有的达到了100万token。但是，相较于大家关注的海量输入，大模型的生成长篇幅的内容时就显得力不从心了。图片比如，如上图，作者在各种模型上要求生成超过2000字的内容时，基本上都没有成功。随着提示词中要求输出的内容长度的增加，输出的最终长度始终停留在2K左右。但是，在对WildChat的用户日志分析时发现，有1%的用户明确要...模型内容长度网络AI架构系列：去其形而留其意
原创最近很多的咨询都在问我相同的问题，如何将LLM集成到垂直领域的业务场景。这里提到的场景当然这些场景不再是生成式应用，而是较为专业的领域。我翻了一篇三月份的论文，以这篇论文来回答读者的问题。其实就是要将LLM去其形，而留其意。LLM的主要战场还是在于自然语言的理解。其一它的特点是大，其二它的内核为Transformer引擎，这种引擎能够在所有的输入中提取有用的关联信息。这些信息可以是自然语言识别，也可以是时序数据，...AI架构生成式高效打造知识图谱，使用LlamaIndex Relik实现实体关联和关系抽取
精华文本信息转化为知识图谱的技术，自问世以来一直是研究界的宠儿。大型语言模型（LLMs）的兴起让这个领域受到更多关注，但LLMs的成本之高令人却步。然而，通过对小型模型微调优化，我们可以找到一种更经济高效的解决方案。今天向大家介绍Relik，这是由罗马大学（SapienzaUniversityofRome）自然语言处理团队精心研发的快速、轻量级信息提取框架。1信息提取流程在不依赖LLMs的情况下，信息提取流程通常包括：上图呈现了信息提取的...图谱LlamaIndexRelik
