AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
聊聊组合模型、注意力机制在单步、多步、单变量、多变量预测中的应用
模型整体介绍：1.时空卷积网络（TCN）：TCN是一种卷积神经网络结构，用于捕捉时序数据中的时序关系。它由一系列的1D卷积层组成，每个卷积层都具有相同的卷积核大小和步长。TCN中的残差连接（ResidualConnections）和空洞卷积（DilatedConvolutions）用于增加网络的感受野，以便更好地捕捉时序数据中的长期依赖关系。TCN可以同时处理多个时间步的输入，这使得模型能够在多个时间步上进行并行预测。2.短期和长期依赖关系的捕捉：T...组合模型单变量预测深度学习模型之——生成对抗网络模型(GANs)
原创“深度学习模型有多种方式，神经网络模型只是其中一种”在人工智能领域有多种不同的流派，而目前最火的就是机器学习领域；而机器学习领域又有机器学习和深度学习，在深度学习中又有不同的神经网络，比如Transformer，CNN，RNN等。今天我们就来介绍另一种深度学习模型——生成对抗网络模型(GANsGenerativeAdversarialNetworks)。生成对抗网络模型——GANs生成对抗网络模型——GANs(GenerativeAdversarialNetworks)是一种深度学习...深度学习GANs大模型学习范式之——语境学习(In-context learning)
原创“大模型学习的最终目的，就是提升模型的性能”在大语言模型技术中，怎么让大模型拥有更好的表现一直是一个值得思考的问题，研究者用了很多办法来提高大模型的输出质量，比如使用大规模高质量参数进行模型预训练和微调。后续又增加少样本和零样本学习以及提示学习等方法；总之，唯一的目的就是挖掘大模型的潜力，用最小的成本使得大模型性能最大化。而今天我们讨论的就是另一种方式——语境学习(ICL)。IncontextlearningInconte...大模型人工智能提示词大模型面经—RAG工程实践经验总结
原创RAG工程经验面经总结。虽然RAG工程整体有很多论文、算法和方法论，但在实际使用过程中，当数据量大了RAG很容易出现不可控的问题，本篇就针对实践过程中遇到的问题总结面经进行分享，看看能不能给大家提供一些帮助。下面是一个快捷目录。一.RAG如何去优化索引结构？二.当混合检索以及基于不同大小的chunk去检索效果都不太好的时候，如何优化？三.如何通过rerank去提升RAG效果的，有哪些方案？下面是答案。一.RAG如何去优化索引...RAG面试干货大发现！谷歌证明反学习，无法让大模型删除不良信息
谷歌DeepMind的研究人员发现，反学习（Unlearning）作为解决大模型输出不良信息的有效解决方案之一，在实际应用中效果并不是很好，会出现“UnUnlearning”的情况这是因为反学习的过程在移除模型中已有知识时，可能面临技术上的复杂性和局限性，导致无法彻底清除所有不良信息。此外，由于大模型的训练数据非常庞大且复杂，也可能会根据其他已知的信息重新构建出这部分被遗忘的内容。例如，即使大模型忘记了“炸弹”的定义，但如...谷歌模型大模型时代信息抽取任务该何去何从？复旦发布InstructUIE提升大模型信息抽取能力
一、概述Title:InstructUIE:MultitaskInstructionTuningforUnifiedInformationExtractionPaper:https:arxiv.orgabs2304.080851Motivation大语言模型解锁了非常强的多任务能力，但是大模型在信息抽取任务上表现比较差，例如gpt3.5turbo在Ontonotes数据集上的f1只有18.22。2Methods2.1整体结构说明：1）基于Instructiontuning技术，实现了一个信息抽取的统一框架，可以实现各式各样的信息抽取任务，并且能挖掘内部任务之间的依赖...大模型信息抽取Methods自我一致性提升大模型中的思维链推理能力
原创摘要：结合预训练大型语言模型的链式思考提示在复杂推理任务上已取得令人鼓舞的成果。本文提出了一种新的解码策略——自我一致性，以替代链式思考提示中使用的朴素贪婪解码。该策略首先采样一套多样化的推理路径，而非单一的贪心路径，并通过边缘化采样的推理路径来选择最一致的答案。自我一致性利用了这样一种直觉：一个复杂的推理问题通常允许通过多种不同的思考方式达到其唯一正确的答案。广泛的实证评估表明，自我一致性显...大模型思维链曾经火出圈的提示工程要死了吗？危！大模型能自己优化Prompt了
2022年底，ChatGPT上线，同时引爆了一个新的名词：提示工程（PromptEngineering）。简而言之，提示工程就是寻找一种编辑查询（query）的方式，使得大型语言模型（LLM）或AI绘画或视频生成器能得到最佳结果或者让用户能绕过这些模型的安保措施。现在的互联网上到处都是提示工程指南、快捷查询表、建议推文，可以帮助用户充分使用LLM。在商业领域，现在也有不少公司竞相使用LLM来构建产品copilot、自动化繁琐的工作、创造个人助理...模型 提示工程什么是提示词工程(prompt engineering)？为什么需要提示词工程？
原创“提示词工程，是一种不需要更新模型权重和参数来引导模型输出特定结果的方法”大模型之所以叫大模型，不但是因为其参数量大，还有训练与运营成本高。因此，从企业运营成本来说，使用大模型能用提示词解决就坚决不微调(finetunning)，能微调解决就坚持不重新训练或设计。那么提示词是什么？为什么需要提示词？有什么作用？01、什么是提示词工程(promptengineering)简单来说，提示词工程是一种不需要调整大模型参数或权重，就可...模型提示词工程真实世界AI造假惊现克星！清华GenWorld：用“物理一致性”让虚假视频无处遁形！
论文链接：https:arxiv.orgpdf2506.10975git地址：https:chenwl20.github.ioGenWorld亮点直击高质量真实场景数据集：GenWorld首次专注于现实世界场景（如自动驾驶），提供多样化、高逼真度的生成视频，弥补领域空白。物理合理性驱动检测：提出通过3D多视角一致性（而非传统像素瑕疵）区分生成视频，适应生成技术快速发展的挑战。简单有效的模型设计：SpannDetector仅需结合立体重建和时序模块即实现显著性能提升，为可解释检...AI视频生成模型精细化图像编辑！LocInv：优化交叉注意力泄漏问题（国科大&巴塞罗那自治大学）
论文链接：https:arxiv.orgpdf2405.01496大规模文本到图像（T2I）扩散模型展示了基于文本prompt的显著生成能力。基于T2I扩散模型，图像编辑研究旨在赋予用户通过改变文本prompt来操作生成的图像。然而，现有的图像编辑技术往往会在超出预期目标区域的意外区域进行编辑，主要是由于交叉注意力图中的不准确性。为了解决这个问题，本文提出了感知反演（LocInv），它利用分割图或边界框作为额外的定位先验来在扩散过程的去噪阶段中...扩散模型图像生成式AI大模型之提示词工程实践
提示工程是一个新兴的领域，专注于开发、设计和优化提示，以增强LLM的输出，从而满足您的需求。它为您提供了一种引导模型的行为从而达到您想要实现的结果的方法。提示工程与微调不同。在微调中，使用训练数据调整权重或参数，目标是优化成本函数。就计算时间和实际成本而言，微调可能是一个昂贵的过程。然而，提示工程试图引导经过训练的FM、LLM或文本到图像模型给出更相关、更准确的答案。提示工程是充分发挥大语言模型的强大...生成式AI大模型提示词工程对大模型应用的重要性
原创“提示词是大模型与外界交互的唯一通道，因此提示词的重要性远比我们想象中的要重要。”提示词或者说提示词工程，说起来可能大家多多少少都知道是怎么回事；但可能很多人并没有意识到提示词工程对大模型的重要性。提示词是人与大模型沟通的桥梁，就像我们要想使用电脑就离不开鼠标键盘一样；不管你是做AIGC也好，做RAG、Agent也罢，或者其它任何与大模型相关的技术或应用，都离不开提示词的存在。总之一句话，任何关于大模型的...提示词大模型神经网络人工智能的一致性推理悖论
一致性推理是人类智能的核心能力之一，指的是处理等价但表述不同的任务的能力。例如，当我们被问到“告诉我现在几点！”和“现在几点钟？”时，尽管这两个问题的表述不同，但它们本质上是相同的。人类能够在面对这些等价问题时，提供一致且正确的答案。这种能力不仅在日常生活中至关重要，也是科学讨论、交流和推理的基础。在数学和逻辑领域，一致性推理尤为重要。它要求个体能够识别和解决以不同方式表述的相同问题。例如在基...人工智能CRPAI突发！Stable Diffusion 3，可通过API使用啦
精华4月18日，著名开源大模型平台Stability.ai在官网宣布，最新文生图模型StableDiffusion3（简称“SD3”）和SD3Turbo可以在API中使用。据悉，本次继续由知名API管理平台FireworksAI提供服务。与前两代相比，SD3除了生成的图片质量更高之外，可以更好地理解提示文本中嵌入到图片中的文字。例如，一个色彩缤纷的魔法世界，天空的中央写着“欢迎来到魔法世界”。前两个模型版本可能无法将“欢迎来到魔法世界”精准嵌入到图片的指定位...模型AI完美提升Stable Diffusion生成质量和效率！UniFL:统一反馈学习框架
文章链接：https:arxiv.orgpdf2404.05595github链接：https:unifl.github.io扩散模型已经彻底改变了图像生成领域，导致高质量模型和多样化的下游应用不断涌现。然而，尽管取得了重大进展，当前竞争性解决方案仍然存在一些局限性，包括视觉质量较差、缺乏美学吸引力以及推理效率低，而没有全面的解决方案。感知反馈学习，提高视觉质量；解耦反馈学习，提高美学吸引力；对抗反馈学习，优化推理速度。深入的实验和广泛的...模型框架Advanced RAG 09：『提示词压缩』技术综述
原创 精华编者按：如何最大限度地发挥LLMs的强大能力，同时还能控制其推理成本？这是当前业界研究的一个热点课题。针对这一问题，本期精心选取了一篇关于"提示词压缩"(PromptCompression)技术的综述文章。正如作者所说，提示词压缩技术的核心目标是压缩向LLMs输入的上下文信息，删减非关键内容，保留语义核心，从而在不影响模型表现的前提下，降低推理成本。文中全面介绍了多种提示词压缩算法的原理和实现细节，包括基于信息熵的Selectiv...RAGLLMs白海科技稳定提升！CAN和Diffusion Transformer才是最佳拍档(MIT&清华&英伟达)
论文链接：https:arxiv.orgpdf2404.01143.pdf项目链接：https:github.commithanlabefficientvit今天和大家一起学习条件感知神经网络（CAN），这是一种向图像生成模型添加控制的新方法。与先前的条件控制方法并行，CAN通过动态调整神经网络的权重来控制图像生成过程。这是通过引入一个条件感知权重生成模块来实现的，该模块根据输入条件生成卷积线性层的条件权重。本文在ImageNet上进行了类别条件图像生成以及在COCO上进...图像生成模型一文搞懂大模型、RAG、函数调用、Agent、知识库、向量数据库、知识图谱、AGI的区别和联系！！
原创一、背景我们要把AI大模型当做人的大脑，因此调用AI大模型，相当于调用一个人，把AI大模型当人看，TA懂人话、TA说人话、TA会直接给出结果，但结果不一定正确。因此在AI大模型的推理基础上，通过RAG、Agent、知识库、向量数据库、知识图谱等技术手段实现了真正的AGI（通用人工智能）。这些技术到底有哪些区别和联系，下图作了横向对比，接下来我们详细剖析下。二、大语言模型（LLM）大语言模型（LLM）是通过深度学习方法，利用庞...大模型RAGAgentAttention不是唯一的选择：基于反事实推理的可解释性推荐
论文题目：AttentionIsNottheOnlyChoice:CounterfactualReasoningforPathBasedExplainableRecommendation论文链接：https:arxiv.orgpdf2401.05744近日，悉尼科技大学徐贯东教授团队，联合香港中文大学、昆士兰大学、香港理工大学、以及新加坡南洋理工大学等多家单位，发布了基于路径反事实推理的推荐系统解释新方法，并提出了一系列全新的定性和定量的解释性评价标准，引发同行广泛关注。01反事实推理的解释的背景...推荐系统
