AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
多模态MLLM都是怎么实现的—如何保持text2video的连续一致性
如果你玩过开源的Text2video，也就是文生视频，也会感慨AI越来越能整活儿了，但是如果你好奇去各大平台看一圈，基本上视频最大就是在810秒左右，甚至有35秒的。（sora能到20秒）当然有兄弟说是算力的问题，这个确实是一个问题，生成视频diffusion的算力确实要比纯text多，但是这个如果有钱也不是问题（后文我们发现其实就算有钱也是问题），但是现在我们谈论的是钱解决不了的问题，一致性。这个一致性指的是多帧一致性比如这个...多模态MLLM文生视频多模态LLM统一嵌入学习；基于心理意象模拟的感知视角推理；动态视觉token压缩框架
BreakingtheModalityBarrier:UniversalEmbeddingLearningwithMultimodalLLMs20250424｜USYD,DeepGlint,AlibabaGroup,ICL(Imperial)🔺28http:arxiv.orgabs2504.17432v1https:huggingface.copapers2504.17432https:garygutc.github.ioUniME研究背景与意义背景概述：当前多模态表示学习领域，CLIP框架因其跨模态对比学习能力被广泛采用，尤其在图文检索和聚类任务中表现突出。然而，CLIP存在文本...多模态LLMtoken统一图像编辑框架，达到闭源一流水平；高分辨率自回归图像生成；高低层次特征联合的图像生成；视频试穿框架
Step1XEdit:APracticalFrameworkforGeneralImageEditing20250424｜StepFun,🔺55http:arxiv.orgabs2504.17761v1https:huggingface.copapers2504.17761https:github.comstepfunaiStep1XEdit研究背景与意义领域现状与挑战近年来，图像编辑技术迅速发展，尤其是在多模态大模型（如GPT4o、Gemini2Flash）推动下，实现了基于自然语言的高质量图像编辑。这些闭源模型在理解复杂编辑指令和...统一图像框架3DV-TONMCP 服务器很危险！这里有安全使用指南！
原创
社区头条编辑云昭出品51CTO技术栈（微信号：blog51cto）MCP这次真的火了！自从Anthropic于2024年11月推出以来，它有望成为“将AI助手连接到数据所在系统的新标准”。截至目前，该协议已被OpenAI、微软和谷歌等公司迅速采用；各大供应商纷纷推出MCP服务器，希望在AI代理工作流程中不失时机。同样，阿里、腾讯、百度等国内大厂也毫无例外地统一宣布支持MCP协议。简单说，MCP在网络上风靡一时的原因很简单——人们已经发现了它各种各样的使...MCP服务器工具突发！Anthropic对逆向工程者提下架通知，引开发者强烈不满
原创 社区头条编辑｜云昭出品51CTO技术栈（微信号：blog51cto）大洋彼岸，两款“代理”编码工具在开发者中的口碑突然发生了逆转！众所周知，近期OpenAI的CodexCLI和Anthropic的ClaudeCode正在激烈竞争，风头皆盛。不过由于后者长期主打开发赛道，所以Claude在开发者的口碑一直很好。但近期，Claude在编程工具方面被曝出了一件黑料，导致开发者纷纷声讨Anthropic，进而转向了OpenAI。据报道，这至少部分是因为Anthropic向一位试图对ClaudeCode...AnthropicOpenAI工具动态噪声重塑：基于时间嵌入U-Net的PyTorch扩散模型实战
原创 社区头条本文基于PyTorch框架帮助读者从零开始理解和实现扩散模型，并给出一个基于时间嵌入UNet模型的基础型扩散模型实战开发案例。简介在我最近发表的几篇文章中，我谈到了生成式深度学习算法，这些算法大多与文本生成任务有关。所以，我认为现在转向图像生成的生成算法研究会很有趣。我们知道，如今已经有很多专门用于生成图像的深度学习模型，例如自动编码器、变分自动编码器（VAE）、生成对抗网络（GAN）和神经风格迁移（NST）。在...PyTorch深度学习扩散模型动态超级块剪枝：加速稀疏检索的革命性技术
精华突破性能瓶颈：动态超级块剪枝如何重塑信息检索效率在当今数据爆炸的时代，高效的信息检索系统对于各类应用至关重要，从搜索引擎到基于检索增强的大语言模型（RAG）。随着学习型稀疏表示模型的兴起，如何在保持高检索质量的同时提升检索速度成为研究热点。本文深入探讨一项革命性技术——动态超级块剪枝（SuperblockPruning，简称SP），这一创新方法在保持高相关性的前提下，显著提升了稀疏检索的效率。稀疏检索的挑战与机遇稀...稀疏检索SPCPU智能体深度解析：LangChain批驳OpenAI Agent手册存在误导性
LangChain创始人HarrisonChase似乎是个“好斗分子”，经常对某些观点或现象发表看法甚至写长文辩论批驳。比如在2024年，他曾指出AutoGPT等框架的问题在于“试图完全自主运行”，缺乏人类干预机制。主张通过LangGraph等工具实现“Humanintheloop”控制，提倡Agent应支持从结构化工作流到灵活模型的渐进式过渡。比如对当前爆火的MCP，Chase由开始质疑到后来肯定其价值。认可MCP在降低开发门槛和标准化工具集成方面的潜力，虽然当...LangChainOpenAIAgent清华大学 | 强化学习是否激励LLM中超越基本模型的推理能力？
论文DoesReinforcementLearningReallyIncentivizeReasoningCapacityinLLMsBeyondtheBaseModel2504.13837TL;DR:虽然强化学习（RL）训练的模型在较小的k值（例如，k1）下优于其基本模型，但基本模型可以在较大的k值下获得与RL对应物相比的可比甚至更高的passk分数。进一步分析表明，RL训练模型生成的推理路径已经包含在基础模型的抽样分布中，表明RL训练模型中表现出的大部分推理能力已经由基础模型获得。RL训练通过将模型的输出...LLM基本模型RL训练AI 对齐失败 = 文明终结？《AI 2027》报告的残酷警示与“硬伤”分析
精华 社区头条由前OpenAI研究员DanielKokotajlo领衔撰写的报告《AI2027》，并非遥远的科幻想象，而是立足于当前人工智能发展趋势、结合专家访谈与严谨逻辑推演，对未来几年（直至2027年）可能发生的剧变进行的一次“沙盘推演”（即模拟预演）。这份报告的核心论断极具冲击力，通用人工智能（AGI）乃至超越人类智慧的超级智能（ASI）可能比许多人预期的更早到来，其对人类文明的重塑力量将远超工业革命，而我们的社会对此却普遍缺乏认知和准备...AI对齐x-risk关于工作流在人工智能领域内的应用分析
原创“工作流与RAG是大模型应用领域阶段性的产物。”工作流是对工作流程及其各操作步骤之间业务规则的抽象和概括描述。它可以帮助组织和自动化重复性任务，提高工作效率。智能体作为人工智能应用的一个主要技术形式，其重要性不言而喻；但同样智能体也并不是万能的，因此怎么更好的使用智能体，并串联相关技术环节就成为一个需要解决的问题。而这就是工作流需要解决的问题，通过制定标准的执行流程，在不同节点使用不同的工具(智能...工作流RAG大模型提示词工程对大模型应用的重要性
原创“提示词是大模型与外界交互的唯一通道，因此提示词的重要性远比我们想象中的要重要。”提示词或者说提示词工程，说起来可能大家多多少少都知道是怎么回事；但可能很多人并没有意识到提示词工程对大模型的重要性。提示词是人与大模型沟通的桥梁，就像我们要想使用电脑就离不开鼠标键盘一样；不管你是做AIGC也好，做RAG、Agent也罢，或者其它任何与大模型相关的技术或应用，都离不开提示词的存在。总之一句话，任何关于大模型的...提示词大模型人工智能一文读遍 LoRA 家族：大语言模型高效训练的"秘密武器"
社区头条在大语言模型（LLMs）的训练领域，LowRankAdaptation（LoRA）技术堪称一项重大突破。它就像给模型训练开启了一条“高速通道”，让我们能更高效地为特定任务训练大语言模型。如今，LoRA在众多应用场景中广泛使用，并且引发了一系列改进研究，催生出了许多变体，这些变体从不同角度优化LoRA，提升训练速度、性能，或者两者兼得。今天，咱们就来深入了解一下LoRA及其家族成员的奥秘。1.LoRA：基础概念与核心优势LoRA的核心做法是在...LoRA大语言模型CMTF：用于金融市场预测的跨模态时间融合框架
准确的金融市场预测需要多样化的数据源，包括历史价格趋势、宏观经济指标和金融新闻。现有方法通常独立处理这些数据，未能有效建模其交互。本文提出了跨模态时间融合（CMTF）框架，集成异构金融数据以提高预测准确性。实验表明，CMTF在预测上优于多种基线模型，提升了精度、召回率和F1分数。摘要准确的金融市场预测需要多样化的数据源，包括历史价格趋势、宏观经济指标和金融新闻。现有方法通常独立处理这些数据，未能有效建模...CMTF市场预测框架AI音频核爆！Kimi开源「六边形战神」Kimi-Audio，音频界ChatGPT来了？
社区头条刚刚，kimi发布全新通用音频基础模型KimiAudio，这款由月之暗面（MoonshotAI）推出的开源模型，在24小时内收获3.2万星标，不仅以1.28%词错率刷新语音识别纪录，更在情感分析、声音事件分类等十项任务中碾压其他竞品，堪称“六边形战士”——没有短板，只有王炸。传统音频模型往往专精单一任务：语音识别、情感分析、降噪……开发者需像拼乐高般组合多个工具。而KimiAudio的颠覆性在于，它用三层架构统一了音频处理各项任务：音...Kimi-Audio发布月之暗面算家云租算力，到算家每日AI资讯DianJin-R1：金融领域推理增强大模型，全面超越DeepSeek-R1
大型语言模型（LLMs）在推理能力上的进展引发了对其在复杂任务中表现的关注，尤其是在金融领域。DianJinR1是一个针对金融领域的推理增强框架，通过推理增强监督和强化学习，提升金融推理任务的表现。DianJinR1模型在金融测试集（CFLUE、FinQA、CCC）上显著优于基础模型，尤其在CFLUE和CCC上表现突出，DianJinR132B在CFLUE上准确率从77.95提升至86.74，CCC上从56.50提升至96.00，超越DeepSeekR1。摘要DianJinR1是一个针对金融领...DianJin-R1大模型DeepSeek-R1NodeRAG：以图结构革新检索增强生成
在众多RAG方法中，NodeRAG以其独特的图结构框架脱颖而出。NodeRAG通过异构图结构和先进的检索机制，为LLM提供更精准、更高效的外部知识支持。本文将深入介绍NodeRAG的核心特性、优势及其在多个领域的卓越表现。什么是NodeRAG？NodeRAG是一种以图为中心的RAG框架，旨在通过异构节点结构化基于图的检索增强生成。它将文档和LLM提取的信息分解为多种类型的节点（如实体、关系、语义单元、属性、高层次元素、概览和文本），并利用图...NodeRAG检索增强从零到一构建Agent系统：四大模块 + 框架生态详解
社区头条当前，我们正处在Agent开发的‘工程化转折点’。打造一个真正“可上线”的Agent系统，不再只是拼接组件，而是围绕四个核心模块进行有机组合。在大模型持续进化的今天，Agent成为很多人眼中的“超级助手”，从代码编写到数据分析、从网页问答到知识检索，它无所不能。但如果你尝试亲自“造一个Agent”，很快会发现一个现实问题：框架太多，套路太杂，效果却难以复用上线。这是因为，大多数教程和开源项目，讲的是功能拼接，但真...Agent系统框架让哪吒用上DeepSeek，让OpenVINO加速边缘计算
原创 社区头条4月17日，OpenVINO™2025.1版正式发布了。我们尝个鲜，利用OpenVINO在英特尔哪吒开发套件上部署deepseekr1distillQwen7b模型。一、在边缘终端部署本地大模型的好处边缘终端，如树莓派和英特尔哪吒开发套件，通常具有较低的功耗和成本，同时具备一定的计算能力。在这些设备上部署DeepSeekR1大模型，可以带来以下好处：1.降低云端依赖边缘终端的本地化部署减少了对云端服务的依赖，使得设备能够在离线或网络不稳定的情况下独立运...intelOpenVINO2025.1DeepSeek全球首部AI生成电影在新加坡上映！70分钟电影《海上女王郑一嫂》登陆院线，AI会改写未来电影吗？
社区头条当算法学会叙事，人类引以为傲的电影艺术，是否将迎来一场颠覆性的范式革命？4月24日，电影市场迎来一个具有里程碑意义的时刻——全球首部政府批准走进院线公映、完全由AI生成的70分钟电影《海上女王郑一嫂》正式登陆院线。这部没有真人演员、无需摄影机拍摄、从剧本到成片仅耗时48小时的作品。不仅打破了AIGC内容时长的行业纪录，更让观众在惊叹“AI竟能讲好复杂故事”的同时，开始思考终极命题：当算法学会叙事，人类导演的价...全球首部AI电影海上女王郑一嫂AI电影租算力，到算家云算家云
