AI.x社区

很多课程都会通过公式来说明Transformer，但是没有给你算过数，也没让你明白一件更重要的事：“自注意力给出来的输出，实际上表示了什么？”本文就想用一个质化、好懂、可实际运算的例子，带你真正看懂SelfAttention是怎么工作的，并解释它的输出真正意义!1.让我们再来回顾下什么是“注意力机制”？你看一段文字时，总会下意识的想：我要看哪些词？哪些字是我目前理解这句话的关键？注意力机制就是这样一种方法，它允许模型根据...

文档问答太难了含有丰富文本和视觉元素（如图表、图像等）的长文档，在进行文档问答时，现有的方案有其局限性：传统的大型语言模型（LLMs）仅能处理文本信息大型视觉语言模型（LVLMs）虽然能够处理视觉内容，但在处理长文档时往往效率低下，并且难以对文本和视觉信息进行有效的融合与推理。现有的检索增强生成（RAG）方法虽然能够从长文档中提取关键信息，但它们通常仅依赖于单一模态（文本或图像）进行检索，缺乏跨模态的信息...

今天阿真Irene开源的一个文生图提示词火了，非常棒的一个AI设计博主，半夜还在更新。还有她肝的表情包，非常受欢迎。Image今天就实际使用大佬的提示词体验一下，这篇文章是基于博主的提示词进行跨越千年这个主题来撰写的，在此感谢原作者的付出。使用方法：​即梦AI字体我有点玩明白了，用这套Prompt提效50%古代诗人诗人朝代主要成就代表作品李白唐伟大的浪漫主义诗人，有“诗仙”之称《将进酒》《望庐山瀑布》杜甫唐伟大的现实...

文章链接：https:arxiv.orgpdf2412.00857项目链接：https:nevsnev.github.ioFloED开源地址：https:github.comNevSNevFloEDmain亮点直击新颖的视频修复模型。提出了一种专用的双分支架构，通过流适配器（flowadapters）集成光流引导，从而增强时空一致性并生成协调的结果。高效的去噪过程。引入了一种无需训练的隐空间插值技术，利用光流加速多步去噪过程。结合流注意力缓存机制，FloED有效降低了由光流引入的额外计算成本。领先...

“在某个地方，有某种令人难以置信的事物等待着被知晓。”——卡尔·萨根在信息爆炸的时代，如何从海量数据中快速、精准地获取所需信息，是困扰众多科研人员与行业从业者的难题。而今天，我们要介绍的Rankify，正是这样一款在学术界和工业界都备受瞩目的Python工具包，它以全面、模块化和用户友好的方式，为检索、重排以及检索增强型生成（RAG）提供了一站式解决方案。一、Rankify的诞生背景过去，检索领域经历了从纯基于词汇的...

在当今数字化时代，企业和教育机构每天都会收到海量的咨询问题。无论是客户支持、销售团队的提问，还是内部员工的咨询，手动回复这些问题不仅耗时费力，还容易出现回答不一致的情况。而基于人工智能的查询解答系统，能够快速、准确且高效地提供答案，极大地提升了工作效率和用户体验。今天，我们就来聊聊如何利用LangChain、ChromaDB和CrewAI构建一个基于检索增强生成（RAG）的智能查询解答系统。这个系统不仅能自动处理各种问...

在当今数字化飞速发展的时代，AI智能代理（AIagents）已经成为提升工作效率、优化企业流程的利器。它们能够自主处理各种日常重复性任务或复杂工作，从简单的设备采购到复杂的供应链规划，再到客户支持服务，AI代理的应用场景无处不在。然而，随着企业对AI代理的依赖程度越来越高，一个新的挑战也随之而来：如何让这些来自不同厂商、基于不同框架构建的AI代理实现无缝协作，从而最大化发挥它们的生产力？今天，我们将探讨一个全...

​引言：一个时代的十字路口我们正站在一个前所未有的技术变革的十字路口。人工智能（AI），特别是近年来以ChatGPT、Gemini等为代表的生成式AI的飞速发展，正以前所未有的速度和深度渗透到我们生活的方方面面。它不再仅仅是科幻小说的畅想，而是实实在在影响着我们的工作、学习、社交乃至思维方式的强大力量。面对这场汹涌而来的AI浪潮，一个根本性的问题摆在了我们面前：到2035年，当人类与AI的关系更加紧密、依赖性更强时，“...

随着人工智能技术的飞速发展，大语言模型（LLMs）已成为自然语言处理领域的核心力量，展现出强大的语言理解和生成能力。然而，LLMs的开发与部署面临着巨大的数据管理挑战，包括数据收集、治理、存储和优化等多个方面。AI对存储的需求几乎涵盖所有方面：高性价比的容量、高可用性、高可靠性、高IOPS、高吞吐量和安全性。更具挑战的是，AI流水线的不同阶段对存储性能也提出各异且动态变化的要求。简而言之，在满足上述需求的同时...

“RAG的核心是怎么快速准确地召回数据，但RAG的难点还有文档处理等问题。”RAG技术是目前大模型应用的主要技术方向之一，常被应用于数据检索，智能客服等应用场景；而最近在做一个问答系统的场景，使用到了RAG技术，因此今天再来记录一下关于RAG在实际场景中所遇到的问题。关于RAG的问题关于RAG的整体流程这里就不多做介绍了，总而言之RAG的核心点有两个，其一是检索，其二是生成；生成这里就不多说了，生成的质量一靠大模型的...

什么是元数据简单来说，元数据就是"描述数据的数据"。它就像我们为知识库文档贴上的各种标签和属性，例如文档的保密等级、创建者、所属类别等。每个文档可以拥有多组这样的描述信息。实际上，元数据早已渗透到我们日常生活的方方面面，只是大多数人并不熟悉这个专业术语而已。为了更好地理解这个概念，我们可以观察一些常见例子。在计算机操作系统中，每个文件都包含一系列基础属性信息：文件格式、创建者、存储大小、最后修改...

背景在理解与学会了NaiveRAG的框架流程后，就很自然地关注到embedding模型，与问题相关的文本召回，也有很多论文在做这方面的创新。以前一直不知道embedding模型是如何微调出来的，一直听说是微调BERT，但是不知道是怎么微调出来的。直到在B站上看到bge模型微调的视频[参考资料4]才理解。于是便想着自己也微调出一个embedding模型。涉及到下面三个阶段：数据集制作模型训练评估微调实战安装包pipinstallUFlagEmbedding[finetune...

BertViz的核心功能注意力矩阵可视化BertViz通过交互式的注意力矩阵视图，展示了模型在处理文本时各个层和注意力头的权重分布。用户可以直观地看到模型如何捕捉单词之间的上下文关系。多视图模式HeadView：可视化同一层中一个或多个注意力头的注意力模式，帮助分析单个注意力头的行为。ModelView：提供跨所有层和注意力头的全局视图，展示注意力分布的整体情况。NeuronView：可视化单个神经元的查询和键向量，揭示其在计算注意力...

1.引言用户问题：员工中薪水最高的人的名字是什么？获取到的scheam：Table:Employees(ID,Name,Salary)生成的答案：SELECTNameFROMEmployeesORDERBYSalaryDESCLIMIT1;1.1知识图谱构建在当今数字化时代，数据已成为人类生产生活中至关重要的生产要素。随着电子设备的迅猛普及，海量数据库如雨后春笋般涌现，它们广泛存储着来自各个领域的丰富信息。然而，对于普通大众而言，学习诸如SQL这类数据库查询语言宛如攀登陡峭高山，门槛...

1.Qwen2.5OmniTechnicalReport我们全新推出Qwen2.5Omni，一个能同时理解文字、图片、声音和视频的"全能型"AI模型！它像人类一样，不仅能看图听声，还能边思考边生成自然流畅的文本和语音回答。三大创新亮点：1）同步感知：采用独特的"交错处理"技术，让视频画面和音频完美同步，配合创新的"时间对齐"算法，确保多模态信息精准配合。2）双轨生成：独创"思考者说话者"架构——思考者：像超强大脑一样生成文字内容说话者：根据思考...

当大模型以"大力出奇迹"的方式惊艳世界，一位AI先驱早在2019年就预言了这一切。强化学习之父RichSutton的《苦涩的教训》[1]，揭示人工智能进化史上最反直觉的真相...一、核心启示：算力碾压的"苦涩真理"[核心观点树状图]└─苦涩的教训├─历史验证：70年AI发展规律├─核心矛盾│├─短期优化：人类知识注入│└─长期胜利：算力暴力破解└─双引擎驱动├─搜索算法└─机器学习2019年，当AI界还在争论神经网络的前景时，RichS...

编辑｜云昭出品51CTO技术栈（微信号：blog51cto）就在两天前，有用户在知名AI编程工具Cursor的论坛上提出了一个问题：怎么回事？VSCode的扩展以后还能在Cursor上使用吗？这个问题震惊了Cursor用户们，他们发现微软的CC++语言服务扩展突然停止支持Cursor，这是反常识的：因为Cursor使用了跟VSCode同源的基础代码。微软的语言扩展竟然突然不能使用了？！据了解，这个问题更具体点是：1.18.21及以后的版本不行，1.17.62版本还可以...

整理伊风出品51CTO技术栈（微信号：blog51cto）刚刚，奥特曼亲自预热的那期播客，完整版视频终于上线啦！！！这一次，OpenAI也开始“学对手”了——正式推出类似Anthropic风格的硬核技术播客内容。本期嘉宾阵容豪华，全部来自OpenAI核心团队，首次系统揭秘GPT4.5是怎么诞生的，深入探讨它在模型训练、系统架构和数据效率上的关键突破。图片不同于OpenAI以往的“营销味”，这个播客确实分享了前沿的训练干货，让我有一种想法：在...

文章链接：https:arxiv.orgpdf2504.04842开源地址：https:fantasyamap.github.iofantasytalking亮点直击设计了一种双阶段视听对齐训练策略，以适配预训练的视频生成模型：首先在片段级别建立与输入音频对应的、包含背景和上下文对象（而不仅限于肖像本身）的连贯全局运动，随后构建精确对齐的唇部运动以进一步提升生成视频的质量。摒弃了传统的参考网络用于身份保持的方法，转而设计了一个专注于面部的交叉注意力模块，该模块集...

文章链接：https:huggingface.copapers2504.02160arXiv链接：https:arxiv.orgpdf2504.02160代码链接：https:github.combytedanceUNO项目网页：https:bytedance.github.ioUNO亮点直击提出了模型数据协同进化范式，突破了传统定制化图像生成中数据瓶颈的限制。开发了渐进式数据生成框架和通用定制化模型UNO，实现了从单主体到多主体的高质量图像生成。在多个任务中取得了卓越的性能，包括单主体和多主体驱动的图像生成，并且能泛...