AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
阿里「轨迹可控版Sora」，告别「抽卡」，让视频生成更符合物理规律
目前，扩散模型能够生成多样化且高质量的图像或视频。此前，视频扩散模型采用UNet架构，主要侧重于合成有限时长（通常约为两秒）的视频，并且分辨率和纵横比受到固定限制。Sora的出现打破了这一限制，其采用DiffusionTransformer（DiT）架构，不仅擅长制作10到60秒的高质量视频，而且还因其生成不同分辨率、各种纵横比、且遵守实际物理定律的能力而脱颖而出。可以说Sora是DiT架构最有利的证明，然而，基于Transformer的扩散模型...视频生成AI如何检测并尽量减少AI模型中的幻觉？
原创我们几乎每天都会听到关于更广泛地成功实施AI工具的故事。随着ChatGPT、Midjourney及其他模型向公众开放，越来越多的人开始在日常生活中依赖AI。虽然机器学习算法很明显能够满足更具挑战性的需求，但它们还不够完美。AI频繁出现的幻觉问题阻碍它们成为人类最可靠的替代者。虽然对于普通用户来说，AI错误只是一笑了之的小故障，但对于业务流程来说，这种不可预测性可能导致各种后果，轻则失去客户信任，重则官司缠身。一些国家已...AI模型LLMAI幻觉Agent Planning大揭秘：轻松拿捏多计划选择！
在人工智能的世界里，我们经常面临一个挑战：如何让机器像人类一样，面对复杂任务时，能够生成多种可能的解决方案，并从中选择最优的计划呢？这正是“多计划选择”（MultiPlanSelection）要解决的问题。今天，咱们就来聊聊这个有趣的话题。首先，想象一下，如果我们的智能Agent面对一个复杂的问题，它可能会生成多个计划。但是，这些计划可能各不相同，甚至有些可能根本不可行。这时候，多计划选择就派上用场了。它包括两个主要...Agent智能节点亚马逊 RAG 新突破：REAPER 技术开启大型智能对话助手新境界
Rufus：亚马逊新一代智能购物助手今年2月份，亚马逊在新一代大语言模型和RAG技术的赋能下，推出了新的智能购物助手：Rufus。Rufus能够解答顾客关于购物需求、产品对比等问题，并基于这些信息提供建议，帮助顾客发现产品。Rufus采用了RAG（检索增强生成）框架，通过大型语言模型（LLM）结合一个或多个检索来源的证据来生成对顾客查询的回应。作为一个复杂的对话系统，Rufus覆盖了非常多的用户关心的领域，因此必须从庞大的数据存...亚马逊RAG智能LLM 推理的 Attention 计算和 KV Cache 优化：PagedAttention、vAttention 等
一、背景最近，SGLang引起了广泛关注，出现了许多“SGLang吊打vLLM和TRTLLM”的言论。不得不说，SGLang确实是一项非常出色的工作。与此同时，vLLM的性能问题和TRTLLM的易用性问题也广受诟病，但是在实际应用中，我们仍然需要保持理性。比如，已经使用了LMDeploy或TRTLLM，是否要在当前阶段切换到SGLang；SGLang在对应的场景是否一定有这么大的提升？不过，本文中并非要介绍SGLang，而是旨在探讨vLLM的基石——PagedAttention的...LLMKV计算一篇模块化RAG之最新全面系统性综述
RAG访问外部知识库增强了LLMs处理知识密集型任务的能力，随着应用场景需求的增加，RAG系统变得更加复杂。传统的RAG依赖于简单的相似性检索，面对复杂查询和变化多端的文本块时表现不佳：对查询的浅层理解、检索冗余和噪声。朴素RAG和高级RAG的案例。面对复杂问题时，两者都遇到了限制，难以提供令人满意的答案。尽管高级RAG通过分层索引、检索前和检索后的过程提高了检索精度，但这些相关文档并没有被正确使用。提出了一种新的...RAGLLMsRAG第一人称基础模型——情感与生理数据在AI中的应用
精华传统的基础模型，如ChatGPT和DallE，通常基于大量互联网数据进行训练。这些数据包括文本、图像和音频，通常通过公共数据存储库（如CommonCrawl）获取。尽管这些模型在生成内容方面表现出色，但它们缺乏对人类情感和生理反应的真实模拟。因此当前的基础模型只能在表面上近似人类行为，而无法深入理解和模拟人类的情感和生理状态。情感和生理状态在我们的决策和行为中起着核心作用。Damasio的体标记理论和Goel的系绳理性理论都强...AI模型Chat-GPT基于Llama3，为本地文件创建生成式AI搜索引擎
精华本文分享一个开源项目——一款创新的生成式搜索引擎，能够实现用户与本地文件的智能互动。此项目在微软Copilot等现有工具的基础上，推出了一种开放源代码的替代方案，旨在推动技术共享与创新。1系统设计为构建本地生成式搜索引擎或助手，需要几个组件：内容索引系统：负责存储本地文件内容，并配备信息检索引擎，以便高效地搜索与用户查询或问题最相关的文档。语言模型：用于分析选定的本地文档内容，并据此生成精炼的总结性答...Llama3AI搜索引擎“年轻的”IMO选手：扫荡“围棋”后，开始扫荡“数学”
原创谷歌称著名数学家蒂莫西·高尔斯爵士（SirTimothyGowers）和约瑟夫·迈尔斯（JosephMyers）博士使用国际海事组织（IMO）的官方规则对人工智能模型的解决方案进行了评分。该公司报告称，其组合系统获得了42分中的28分，略低于29分的金牌门槛。AlphaProof解决了两个代数问题和一个数论问题，而AlphaGeometry2解决了几何问题。这包括在比赛中最难的问题上获得满分，谷歌声称今年只有五名人类参赛者解决了这个问题。图表显示了Alpha...谷歌AlphaProof形式语言使用语言模型模拟五亿年的进化历程
精华一、结论写在前面论文标题：Simulating500millionyearsofevolutionwithalanguagemodel论文链接：https:www.biorxiv.orgcontent10.11012024.07.01.600583v1.full.pdf超过三十亿年的进化历程将生物学图像编码到天然蛋白质的空间中。论文在由进化生成的token上训练的语言模型可以作为进化模拟器，生成与已知蛋白质相距甚远的功能性蛋白质。论文提出ESM3，一种前沿的多模态生成语言模型，该模型能够推理蛋白质的序列、结构...语言模型模拟遗忘"大脑？香港中文大学提出新算法MoFO助力AI记住预训练知识！
引言：大型语言模型在微调过程中的遗忘问题在人工智能领域，大型语言模型（LLM）因其在多种任务中展示出的卓越能力而备受关注。这些模型通常先在大规模语料库上进行预训练，以掌握广泛的语言能力，然后在特定任务的数据集上进行微调，以适应具体的应用场景。然而，微调过程中一个常见且棘手的问题是模型可能会忘记在预训练阶段获得的知识，这种现象被称为“遗忘”。遗忘问题不仅降低了模型的通用性能，还可能影响到模型在新任务...算法MoFOAI如何改良基于Basis的时间序列预测模型？
今天介绍一篇NIPS2023中上海交大和蚂蚁集团联合发表的时间序列预测文章，基于basis的时间序列建模。目前代码已经开源，论文的详细信息如下。论文标题：BasisFormer:AttentionbasedTimeSeriesForecastingwithLearnableandInterpretableBasis下载地址：https:arxiv.orgpdf2310.20496v1.pdf机构：上海交大开源代码：https:github.comnzl5116190Basisformer1.基于Basis的时序预测在时序预测中，basis指的是从时间序...Basis时间序列预测模型高盛洞察：生成式AI：投入很高，收益太少？
本文翻译自高盛的最新报告《GenAI:Toomuchtospend,toolittlebenefit》，高潮过后，更多的人开始审视生成式AI带来的实际收益问题。生成式AI技术将对公司、行业乃至整个社会的带来变革的承诺持续受到推崇，预计在未来数年中，科技巨头、各类企业和公共事业单位将在资本开支上投入约1万亿美元，这包括对数据中心、芯片、AI基础设施以及电网的重大投资。然而，迄今为止，除了开发商效率提升的报道外，这些投资似乎并未带来显著成果...生成式AINvidiaMidjourney V6.1再进化！人像逼真细节拉满，摄影级画面秒生成
精华Midjourney几个月前画的饼终于端上来了！他们今天刚刚发布了最新版本v6.1！此次更新总结四个大字：细节狂魔。网友纷纷发推测试最新版本的Midjourney，摄影级画面先睹为快！这张图被取名为《天窗》，构图、色彩、光影、明暗，各方面都极度舒适，湖面波光粼粼细节生动，简直可以直接用来做屏保。继续看一幅风景，曙光拨开云层，远处群山连绵，积雪未消；植被茂密，松树纹理逼真，一片静谧祥和。接着看一组静物，原本需要大量人力...视频生成ChatGPT接入微信，用这5个方法实现
原创大家好，我是橙哥！ChatGPT作为目前最强大的对话机器人，可以处理各种复杂的任务，已经成为不少人的好帮手。将ChatGPT接入微信，可以为提供更加智能和方便的聊天体验。本文将介绍五种将ChatGPT接入微信的方法，并对相关的GitHub项目进行分类说明和整理。不过在这里我要说明的是，接入个人微信会有一定的封号风险，长期使用请选择部署到企业微信。1.WeChatFerryWeChatFerry是一个强大的微信自动化工具，旨在提供微信消息的自动化...ChatGPT微信RAG 的尽头是 Agent？
原创1、大模型的痛点大模型技术席卷全球，为日常工作和生活带来便利，但也面临时效性、准确性等问题。如何提升大模型的性能？解决其挑战？构建高级应用？成为重要待解决问题。RAG（检索增强生成）技术通过信息检索和文本生成，显著提升了大模型的性能。但RAG也存在局限性，比如：数据依赖、检索效率等。如何解决这些痛点？如何进一步提升RAG性能？是本文剖析的重点。2、RAG的痛点NaiveRAG通过检索和生成，提升大模型在问答、智能助...大模型RAGAgentsRAG 开发四大痛点及解决方案
原创1、痛点1：知识缺失知识库缺乏必要的上下文信息，导致RAG系统在无法找到确切答案时，可能会提供模棱两可的错误信息，而不是直接表明其无知。这种情况下，用户可能会接收到误导性的信息，从而感到沮丧。针对这一问题，有以下两种解决方案：解决方案一：优化数据质量“垃圾输入，垃圾输出。”若源数据质量不佳，比如：存在相互矛盾的信息，即便是再完美的RAG流程也无法从劣质数据中提炼出有价值的知识。以下提出的解决方案不仅能...大模型RAG谷歌开源Gemma Scope，更好解释大模型工作原理
随着多模态大模型的出现，内部神经网络参数少则几百亿，多则上千亿甚至过万亿，使得开发人员很难控制其输出内容经常会出现各种“幻觉”，就是一本正经的胡说八道。虽然稀疏自编码器（简称“SAE”）是解决这些难题的主流方法，可以学习神经网络潜在表示的稀疏分解，将其分解为可解释的词、短语等特征，能有效解释大模型的工作原理与机制。但普通的SAE质量难以保证，并且训练成本非常高。所以，谷歌DeepMind针对其开源的Gemma2模...开源模型性能秒杀SD3、DALL·E-3，开源文生图模型杀出大黑马
精华昨天Midjourney刚进行大更新，今天文生图片开源领域就杀出了一匹大黑马—FLUX.1。根据其测试数据显示，性能大幅度超过了DALL·E3、MidjourneyV6闭源模型，开源SD3系列的Ultra、Medium、Turbo和SDXL被全线秒杀。并且FLUX.1表示，文生图只是一个开始，未来还会推出文生视频模型想和Sora、Gen3、Luma等一线产品过过招。开源地址：https:github.comblackforestlabsflux在线demo：https:replicate.comblackforestlabsfluxpro出道即巅...模型生成寥寥数笔，动画自成！阿里Tora: 首个轨迹引导的DiT创新实现精确运动控制视频生成
精华论文链接：https:arxiv.orgpdf2407.21705项目链接：https:alivideoai.github.iotoravideo亮点直击本文引入了Tora，这是第一个轨迹导向的DiT用于视频生成。如下图2所示，Tora无缝整合了广泛的视觉和轨迹指令，从而能够熟练地创建可操控运动的视频。为了与DiT的可扩展性保持一致，本文设计了一种新颖的轨迹提取器和运动引导融合机制，以获取时空运动块，随后将这些块注入DiT块中。本文对几种架构选择进行了消融实验，并为未来基于...框架视频生成
