AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
AI画家的「滑铁卢」：为什么冰可乐不愿意住进茶杯里？
精华文章的第一作者是上海交通大学博士研究生赵峻图（主页：https:juntuzhao.run），他的研究方向包括计算机视觉和人工智能赋能的生命科学。此外，他还担任上海交通大学校田径队队长。文章的通讯作者为上海交通大学长聘教轨助理教授、博士生导师王德泉（主页：https:dequan.wang）。设想一下，如果让你画一幅“茶杯中的冰可乐”的图片，尽管茶杯与冰可乐的组合可能并不恰当，你仍然会很自然地先画出一个茶杯，然后画上冰块与可乐。...AI图片生成4090单卡可跑，6秒直出电影级画质，智谱版Sora正式开源！
7月26日，智谱发布AI生视频产品「清影」，30秒将任意文图生成视频，并上线在他们的AI助手「智谱清言」上，被誉为是国内首个人人可用的Sora。就在发布6天后，「清影」生成到视频数便已突破了百万量级。今天，智谱AI宣布将与「清影」同源的视频生成模型——CogVideoX正式开源。团队表示，希望每一位开发者、每一家企业都能自由地开发属于自己的视频生成模型，从而推动整个行业的快速迭代与创新发展。打开AI助手「智谱清言」即可体...视频生成OpenAI版终结者降临！地表最强机器人Figure 02问世，进宝马狂飙20小时
号称OpenAI二代机器人「Figure02」，真的来了！刚刚，FigureAI终于官宣了第二代人形机器人，完全换了一身新形象——黑色的外观，更加灵活的五指。创始人BrettAdcock表示，「这是『地表最强』的人形机器人」！值得一提的是，Figure02的设计评审耗时18个月完成。据介绍，迭代后的Figure手部具有16个自由度，能够承受与人类相当的力量。现在的它，已经进入宝马车厂开始打工了，可以无休止地狂干20个小时。Figure02还可以与人类直接...AI机器人基于Llama 3的AI代理开发实战演练
原创通过本文，您将学会基于开源的深度学习模型可视化工具Gradio构建一个具有Llama3模型函数调用功能的AI代理的完整过程。简介想象一下，你想买点东西。于是，你访问某个电子商务网站并使用搜索选项查找所需内容。也许你有很多东西要买，所以这个过程不是很有效。现在，请考虑一下这样一个场景：打开一个应用程序，用简单的英语描述一下你想要的东西，然后按下回车键。你不必担心搜索和价格比较，因为应用程序会自动为你处理了。很...Llama 3AI代理深度学习别缴“对齐税”了，未审查/对齐的模型更受欢迎！用户：纯粹版比受限版有用！
原创编辑言征出品51CTO技术栈（微信号：blog51cto）1.未经对齐的模型很重要审查模型的主要缺点之一是所谓的“对齐税”。这是指当模型被过度调整以符合特定的道德准则时，性能会下降。但缺点远不只是性能，经过了几番教训后，Nidum.AI联合创始人ArjunReddy认为：“未经审查的模型没有任何人为的偏见，当你在LLM的基础上构建产品时，使用无偏见的模型非常重要。”（即，对齐审查≈新的偏见）Reddy进一步提到，由于偏见，该公司避免使...模型LLMsLLM美国国防部大刀阔斧，启动AI项目：将老旧C代码全部转换为Rust
原创整理丨诺亚出品51CTO技术栈（微信号：blog51cto）为了加快向内存安全编程语言的迁移步伐，美国国防部高级研究计划局（DARPA）正积极推动一项名为“TRACTOR”的创新项目。TRACTOR，即“TRanslatingAllCTORust”，是一个旨在利用先进的机器学习技术自动将老旧的C代码转换为Rust语言的工具。内存安全问题一直是软件开发中的老大难，比如常见的缓冲区溢出漏洞，这些隐患常常潜伏在庞大的代码库中，成为安全威胁的主要来源。DARPA希...AI项目C代码Rust模块化RAG：RAG新范式，像乐高一样搭建
精华1.RAG系统的发展历史与问题RAG（检索增强生成）通过访问外部知识库，检索增强生成（RAG）为LLMs提供了关键的上下文信息，极大地提升了其在知识密集型任务上的表现。RAG作为一种增强手段，已在众多实际应用场景中广泛运用，涵盖知识问答、推荐系统、客户服务以及个人助手等领域。RAG技术的发展可归结为三个阶段：•起初，检索增强技术被引入，提升预训练语言模型在知识密集型任务上的表现。比如：Retro通过检索增强优化了预训练...RAG系统微调未来的智能战场——多智能体系统的防御与生存之道
多智能体系统（MultiAgentSystems,MAS）近年来在各类任务中展现出卓越的能力，尤其是在代码生成、数学问题解决、翻译和文本评估等领域。通过多个专家智能体的协作，这些系统能够将复杂任务分解为更小的子任务，由各个智能体分别处理，从而提高整体效率和准确性。然而随着多智能体系统的广泛应用，其安全性问题也日益凸显。特别是当系统中存在恶意智能体时，这些智能体可能会生成错误或不相关的结果，进而破坏整个系统的协作效果...多智能体系统错误率斯坦福、Salesforce等开源1万亿tokens多模态数据集
华盛顿大学、斯坦福大学、Salesforce等研究人员联合开源了多模态数据集MINT1T。据悉，MINT1T共包含了大约1万亿个文本标记和34亿张图像，是现有开源多模态数据集的10倍，同时还首次从ArXiv网站中爬取了专业论文，进一步提升了数据质量。这对于开源领域开发GPT4o、Gemini等多模态模型，提供了全面、多元化的数据集。开源地址：https:github.commlfoundationsMINT1TMINT1T数据集包含了多种来源，其中，HTML文档的主要来源于CommonC...数据模型AI界的新宠：揭秘Llama 3.1如何革新AI合成技术
精华合成数据技术并不是创造全新的信息，而是通过转换现有信息来生成不同的变体。在过去的十多年里，合成数据技术已被广泛应用于提升各类模型的精确度——无论是通过变换图像来优化物体检测模型，还是加强信用卡欺诈检测，亦或是提升BERT模型在自动问答方面的表现。随着大型语言模型（LLMs）的出现，生成合成数据的动力和技术都得到了极大的加强。各行各业的企业正在利用合成数据来微调基础LLMs，以满足各种应用场景的需求，比如:金...AI合成技术Llama 3.1两阶段超长周期用户行为序列建模方法总结
今天这篇文章介绍的主题是推荐系统中，基于两阶段的超长周期用户兴趣建模系列工作。主要介绍业内比较有代表性的由快手发表的3篇工作，从2020年最开始的SIM首次提出的两阶段行为序列建模方法，到2022年KDD上发表的TWIN对两阶段一致性的优化，再到2024年CIM上提出的在TWIN基础上引入层次聚类进一步释放长周期建模能力。1.背景在推荐系统的排序模型中，用户行为序列建模部分的迭代一直是最核心的收益来源。用户行为序列建模迭代，...序列建模方法Llamaindex推出workflow应对复杂LLM应用构建，以及技术实现从图（Graph）转向事件驱动（EDA）原因解析
同一天，LLM应用开发另一个代表产品Llamaindex也发布了其在此领域的新功能——workflow，进一步提升应用编排的能力。早在去年，Llamaindex在这方面已经有了动作，推出了QueryPipeline（详见：应用编排的未来是Pipeline，LlamaIndex开发预览版推出QueryPipeline，提升应用开发的灵活性），它是一个声明式设计，可以自定义整个查询流程为一个DAG（有向无环图）流程，支持从简单到复杂的不同服务流程。对于一般的RAG类...LLMEDAGraphMSRA古纾旸：2024年，视觉生成领域最重要的问题有哪些？
精华文章链接:https:arxiv.orgpdf2407.18290亮点直击概述了视觉生成领域中的各种问题。这些问题的核心在于如何分解视觉信号，其他所有问题都与这一核心问题密切相关，并源于不适当的信号分解方法。本文旨在引起研究人员对视觉信号分解重要性的关注。问题1：生成模型的目标是什么？在作者看来，生成模型的设计目的是“创造人们所设想的”。数字信号的生成需要经过三个里程碑：第一个里程碑是将用户的想法翻译成计算机可以理解的格式...视觉生成为什么最新的LLM使用混合专家(MoE)架构
原创本文详细介绍了混合专家(MoE)架构，该架构通过混合或融合不同的“专家”模型共同解决特定的问题。专业化的必要性医院有很多具有不同专长的专家和医生，他们擅长解决各自领域内的医疗难题。外科医生、心脏病专家、儿科医生等各类专家紧密合作，为患者提供了全面而个性化的医疗护理服务。同样，人们也可以将这一合作模式应用于人工智能领域。人工智能中的混合专家(MoE)架构被定义为不同“专家”模型的混合或融合，能够共同处理或...LLM人工智能大型语言模型小模型和开源正在成为AI发展的变数
原创编译丨诺亚出品51CTO技术栈（微信号：blog51cto）在IT行业，“精益”常用来描述追求更高效率和成本效益的流程，生成式AI也不例外。一些企业的AI系统运行成本高达数百万美元，并消耗大量电力，促使企业寻求更高效、精益的AI解决方案。企业自然倾向于借助公共云快速部署生成式AI，因其提供便捷的一站式服务。大型云服务商已从AI投资中获益。但使用云服务的成本有时会超过传统数据中心，尽管如此，企业仍在寻找有效降低成本的方法...AI小模型开源大模型技术细节——大模型之文本生成与文档总结
原创“大模型就是一个黑盒，盒子外面的人一直在雾里看花”我们一直在说大模型大模型，但大部分人都没深入研究过大模型的具体实现以及隐藏在大模型这个黑盒下的技术细节。思考个问题，根据要求让大模型生成一段文字和给大模型一个PDF文本，让它总结文本内容，这两种方式是同一种大模型吗？文本生成大模型和文档总结大模型很多人都简单的认为，生成文本的模型和进行文档总结的模型是一回事，都属于文本处理模型。因为从使用者的角度来...生成式AI人工智能应用大模型的分类——生成式大模型和判别式大模型联系与区别
原创“明白模型的类型，才能明白模型的应用”在学习机器学习的过程中，生成式模型和判别式模型是两个经典类型的模型，弄明白两者之间的联系与区别是一个非常重要的事情，也会加深对大模型的理解。那么什么是生成模型和判别模型呢？生成式模型和判别式模型的区别与联系生成式模型和判别式模型是两种不同的机器学习类型，它们之间具有不同的目标和应用场景，很重要的一点是不论生成式模型还是判别式模型，都是基于监督学习的机器学习...大模型生成式AI人工智能应用实践出真知：Agents 领域“一年打怪升级”的经验分享
原创 精华编者按：在你构建AIAgents时，是否曾遇到这些困扰：总是在简单任务上出错，从而让你有时会怀疑自己的技术水平？面对客户的需求，AIAgent表现得像个“笨蛋”，无法准确理解和执行指令？随着底层模型的更新，AIAgents的性能不升反降，让人手足无措？这些问题不仅影响了AIAgents的性能，甚至可能导致项目延期、成本超支，甚至失去客户的信任。在AI技术飞速🚀发展的今天，任何一个表现不佳的Agents都可能很快被市场淘汰。今天我们分...AI AgentsLLMs超越DiffEdit、SDEdit等6大编辑模型！字节等提出人像服饰、卡通表情编辑新SOTA！
精华文章链接：https:arxiv.orgpdf2407.20455亮点直击：一种数据生成技术，提供了具有更好身份和布局对齐的配对数据；一种多条件扩散模型，能够生成保留特征的结果，并在推理中提供准确的编辑mask指导；实现了最先进的人像编辑效果。现有的技术在进行人像编辑时面临挑战，难以保留主体特征（如身份）。本文提出了一种基于训练的方法，通过自动生成的配对数据来学习所需的编辑，同时确保保留未更改的主体特征。具体来说，本文设计了...模型生成如何拯救LoRA初始化？LoRA-GA：性能显著提升+收敛速度更快！
文章链接：https:arxiv.orgpdf2407.05000亮点直击提出了LoRAGA，一种新颖的LoRA初始化方法，通过近似低秩矩阵的梯度与全权重矩阵的梯度来加速收敛。确定了在非零初始化下的缩放因子，该因子确保适配器输出的方差不受适配器的秩和输入维度的影响。通过广泛的实验验证了LoRAGA，证明了与原版LoRA相比，其性能显著提升且收敛速度更快。具体而言，LoRAGA在T5Base的GLUE子集上比LoRA提高了5.69%，在Llama27B上在MTbench、GSM8K和Huma...模型训练
