AI.x社区

春意盎然，万物萌发；心灵舒畅，思绪晴朗。值此春和景明之际，是时候摆脱冬日沉寂，开启新一年的成长与进阶啦！！！【春“码”盎然学习季】春日生发，宜学习，宜进阶，宜赢取春日好礼！AI.x社区随着技术的不断进步，“云”已然成为我们日常工作与创新中不可或缺的一部分。4月9至11日，集启迪、创新和教育于一体的全球盛会Next’24在美国拉斯维加斯曼德勒海湾会议中心举办。相信对于任何希望在这个快速发展的领域保持与时俱进的...

整理言征OpenAI的视频生成工具Sora在2月份让业界大吃一惊，其流畅、逼真的视频似乎远远领先于竞争对手。然而这场精心策划的首次亮相，留给了大众太多不为人知的细节。近日，OpenAI大火的宣传短片的制作团队之一的ShyKids接受了媒体采访，并分享了自己作为少数最早使用Sora技术的视频创作者的酸甜苦辣。OpenAISora宣传短片之一（AirHead气球人）ShyKids是一个位于多伦多的数字制作团队，被OpenAI选为少数几个主要出于OpenAI宣传...

对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。比如之前有研究结果显示，在GSM8K基准测试中实现80%以上准确度所需的最小模型尺寸为340亿个参数。为了在较小的模型上达到这种性能水平，研究人员经常训练SLM来生成Python代码或使用外部工具作为辅助，以避免计算错误。或是基于集成（ensembling）技术，将100多个模型生成的输出组合在一起，以获得更准确的结果，最终结果的选择需要通过共识、多数表决或与SLM结...

大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophicvalues）等问题，目前模型的上下文窗口大多不超过128k个token最近，MicrosoftResearch的研究人员提出了一个新模型LongRoPE，首次将预训练LLM的上下文窗口扩展到了2048k个token，在256k的训练长度下只需要1000个微调步骤即可，同时还能保持原始短上下文窗口的性能。论文链接：​​https:arxiv.orgabs...

在4月27日召开的中关村论坛通用人工智能平行论坛上，人大系初创公司智子引擎隆重发布全新的多模态大模型Awaker1.0，向AGI迈出至关重要的一步。相对于智子引擎前代的ChatImg序列模型，Awaker1.0采用全新的MOE架构并具备自主更新能力，是业界首个实现“真正”自主更新的多模态大模型。在视觉生成方面，Awaker1.0采用完全自研的视频生成底座VDT，在写真视频生成上取得好于Sora的效果，打破大模型“最后一公里”落地难的困境。Awake...

想象一下，你仅需要输入一段简单的文本描述，就可以生成对应的3D数字人动画的骨骼动作。而以往，这通常需要昂贵的动作捕捉设备或是专业的动画师逐帧绘制。这些骨骼动作可以进一步的用于游戏开发，影视制作，或者虚拟现实应用。来自阿尔伯塔大学的研究团队提出的新一代Text2Motion框架，MoMask，正在让这一切变得可能。MoMask框架是基于多层离散化动作表示的，利用生成式掩码技术，能够生成更高质量的3D人体动作。如视频1中展示...

啊？Sora火爆短片《气球人》，也“造假”了？？？背后艺术家团队的最新揭秘，可谓一石激起千层浪：原来，视频画面并非完全由AI生成，其中有大量视觉效果需要人类后期实现。belike：这下网友不干了，合着大家伙儿跟OpenAI玩真心，OpenAI背后却耍起心眼子来了：他们含糊其辞，就是希望观众认为短片完全是AI生成的，这是不是有点不诚实了啊。这不是人工智能生成的视频，而是使用了一些AI技术的视频。还有网友直接开喷：误导性营销...

尽管许多大型语言模型（LLMs）能够处理长篇输入，但它们仍然难以充分利用长文本中的信息，这被称为“中间丢失（lostinthemiddle）”挑战。这个问题可能是源于长文本训练期间缺乏明确的监督，未能强调长文本中任何位置都可能包含关键信息。基于这一直觉，提出了一种名为INformationINtensive（IN2，信息密集）训练的方法，这是一种纯粹的数据驱动解决方案，用以克服“中间丢失”的问题，达到GPT4Turbo同等水平！探测结果表明，IN...

论文链接：https:arxiv.orgpdf2404.16748今天和大家分享的这个工作，核心是解决了从文本描述生成3D穿着衣物的人体的任务。先前的工作通常将人体和衣物编码为一个整体模型，并在单阶段优化中生成整个模型，这使得它们在进行服装编辑时困难重重，同时失去了对整个生成过程的细粒度控制。为了解决这个问题，本文提出了一种分层式的穿着人体表示方法，结合渐进优化策略，可以生成解耦的3D人体模型，同时提供对生成过程的控制能力。...

01智能化决策与预测AI能够处理和分析大量的数据，从中提取有用的信息，进而做出智能化的决策和预测。这使得企业可以更加精准地把握市场趋势，优化运营策略，提高效率和盈利能力。同时，AI也帮助政府和社会机构更好地制定政策和规划，以满足人民的需求。02自动化与效率提升AI技术可以实现许多任务的自动化，包括生产线上的制造、物流配送、客户服务等。这不仅提高了工作效率，降低了人力成本，还使得一些复杂和高风险的任务得以...

一、背景电商供应链的系统建设一般偏向于数据管理类型，但此类系统建设有一个很明显的问题就是前后端开发的沟通成本较高（相对研发成本而言），特别是一些简单加减字段的诉求沟通成本甚至达到50%以上，如何将这部分沟通成本降低下来，并保证高质量的交付成为目前亟待解决的问题。经过对需求和系统页面进行分析，我们得出如下数据：供应链≤2人日的需求投入工时占接近50%，两周的迭代周期，一个前端甚至能接到10+需求，时间碎片...

深入探讨生成式人工智能的原则和模型，以及它在数据分析中的应用。面对快速变化的市场格局，企业必须不断寻求新的技术突破来保持领先地位。生成式人工智能（GenerativeAI）无疑是近年来发展最为迅猛的一个突出领域。Gartner预测，到2026年，超过80%的组织将使用生成式人工智能API、模型或应用程序，而2023年这一比例还不到5%。生成式人工智能引起了数据分析和相关应用的范式变化。只需简单几个提示词，用户就可以收到文本、图像...

Sora是OpenAI发布的一款视频生成模型，采用了DiffusionTransformer架构，旨在实现高保真度和视频图像的前后一致性。其突出之处在于能够生成逼真流畅的视频内容，令人惊叹不已。Sora一经推出便在极短的时间内迅速引起了科技界和社会各界的关注，同时也引发了关于AI技术发展和产业变革的激烈讨论，日前，MoPaaS魔泊云创始人和CEO鲁为民博士参与腾讯科技举办的：与硅谷专家和创业者共同探讨：Sora的商业逻辑与技术创新分析直播活动...

撰稿李美涵采访云昭嘉宾邹国平出品51CTO技术栈（微信号：blog51cto）进入2024，AI应用落地的步伐悄然加速。AI文生图产品——连接着千行百业的设计需求，极大地压缩了创意实现的周期——正成为快速掘金的AI领域之一。AI生图自2022年底开始爆发，过去一年多的时间已经让这条赛道变得内卷起来，前有Midjourney、DALL·E、StableDiffusion稳稳占据头部市场，后有GPT4等多模态大模型随时可能抄后路的危险，再加上诸多类似服务的图像...

各种编程Copilot彻底卷起来了，不止国外的微软、谷歌、Meta，国内的百度、阿里、商汤等AI巨头盯上了编程这块肥肉，不少初创公司也毅然决然的选择了这条赛道。最近，那位曾经把Java带成Sun巅峰的CTO、前谷歌CEO施密特（EricSchmidt）也再度挥刀编程领域，并投资了一家新的编程Copilot应用，有意思的是，这款产品背后的发起者是有微软的背景。这个平台就是Augment，周三它以2.52亿美元的资金悄然出现，投后，该平台的估值已接近独...

近期，大语言模型、文生图模型等大规模AI模型迅猛发展。在这种形势下，如何适应瞬息万变的需求，快速适配大模型至各类下游任务，成为了一个重要的挑战。受限于计算资源，传统的全参数微调方法可能会显得力不从心，因此需要探索更高效的微调策略。上述挑战催生了参数高效微调（PEFT）技术在近期的快速发展。为了全面总结PEFT技术的发展历程并及时跟进最新的研究进展，最近，来自美国东北大学、加州大学Riverside分校、亚利桑那州...

苹果VisionPro发布之后火了一段时间，就几乎堙灭了。那是因为，仅靠一个头显，是无法真正体会到「头号玩家」中那样沉浸般的世界。还记得今年1月，迪士尼首次公布了「全息地板」Holotile黑科技，一块地板即实现无限行走，引全网围观。就在最近，油管网红MKBHD已经拿到全球首个Holotile评测资格，开启了一波评测。十分钟的简短评测视频，现全网播放量已破300万。戴上VisionPro之后，MKBHD在Holotile漫步时，永远都不会走出它的边...

论文链接：https:arxiv.orgpdf2404.14294.pdf大语言模型（LLMs）因其在各种任务中表现出色而受到广泛关注。然而，LLM推理所需的大量计算和内存资源对于在资源受限场景中部署提出了挑战。该领域的努力集中在开发旨在提高LLM推理效率的技术上。本文对现有文献中关于高效LLM推理的内容进行了全面调研。首先分析了导致LLM推理低效的主要原因，即大模型大小、二次复杂度的注意力操作和自回归解码方法。然后，本文引入了一个全面的分...

项目链接：https:github.comhpcaitechOpenSoraOpenSora1.1是ColossalAI开发的开源视频生成模型的最新迭代，标志着在这个快速发展的领域取得了实质性的飞跃。在其前身OpenSora1.0的基础上，该版本在功能、训练效率和整体灵活性方面进行了显著改进。OpenSora项目是一项致力于高效制作高质量视频，并使所有人都能使用其模型、工具和内容的计划。通过采用开源原则，OpenSora不仅实现了先进视频生成技术的低成本普及，还提供了一个精...

视觉语言模型屡屡出现新突破，但ViT仍是图像编码器的首选网络结构。字节提出新基础模型——ViTamin，专为视觉语言时代设计。在使用相同的数据集和训练方案时，ViTamin在ImageNet零样本准确率上比ViT提高了2.0%。此外在分类、检索、开放词汇检测和分割、多模态大语言模型等60个不同基准上都表现出了良好的结果。当进一步扩展参数规模时，ViTaminXL仅有436M参数，却达到了82.9%的ImageNet零样本准确率，超过了拥有十倍参数（4.4B...

大模型力大砖飞，让LLaMA3演绎出了新高度：超15TToken数据上的超大规模预训练，既实现了令人印象深刻的性能提升，也因远超Chinchilla推荐量再次引爆开源社区讨论。与此同时，在实际应用层面上，另一个热点话题也浮出水面：资源有限场景下，LLaMA3的量化表现又会如何？香港大学、北京航空航天大学、苏黎世联邦理工学院联合推出了一项实证研究，全面揭示了LLaMA3的低比特量化性能。研究人员使用现有的10种训练后量化和LoRA微调方...

抛弃传统方法，只采用Transformer来解码真实场景！近日，来自Meta的研究人员推出了SceneScript，只需要70M参数，仅采用编码器解码器架构，就能将真实世界的场景转化为几何表示。论文地址：https:arxiv.orgpdf2403.13064.pdfSceneScript是一种用于表示和推断场景几何图形的方法，使用自回归结构化语言模型和端到端学习。SceneScript可以助力AR和AI设备理解物理空间的几何形状，比如下面这个演示，利用Aria眼镜拍摄的素材，SceneS...

AI帮你来试衣，想穿什么款式一键搞定。精准捕捉服装细节，衣服纹理、图案、缝线等属性高度还原：即使是在户外，AI试衣也能准确展示试穿效果，保持较高质量的输出：人物坐立姿势对衣物有遮挡，AI也会毫无破绽的实现一键换衣，高度保持服装细节的一致性：既然demo演示这么厉害，那试试让黄仁勋、奥特曼、霉霉等名人穿上机器之心的文化衫，出来的效果会怎么样呢？换装1：换装2：换装3：试用地址：https:huggingface.cospacesyisolI...

零样本异常检测（ZSAD）允许检测模型仅利用辅助数据进行训练，从而在没有任何目标数据集训练样本的情况下检测异常。这在因各种原因（如数据隐私问题）无法获取训练数据时非常关键。然而，这项任务面临的挑战在于，模型需要能够跨不同领域泛化异常检测能力，尤其是前景对象、异常区域及背景特征（比如不同产品或器官上的缺陷或肿瘤）在不同应用中可能大相径庭。为了改进CLIP模型，来自浙江大学、新加坡管理大学、哈佛大学的研究...

你说箱子里要装满钻石，于是箱子被钻石填满，比实拍还要耀眼。这样的技能，哪个剧组不喜欢？这是前段时间Adobe旗下的视频剪辑软件PremierePro所呈现的「魔法」。该软件通过引入Sora、Runway、Pika等AI视频工具，实现在视频中添加物体、消除物体以及生成视频片段等能力，这被视为视频领域的再一次技术革新。从2月份Sora席卷全球到如今Adobe再施魔法，海外热火朝天。相比之下，国内在视频领域，尤其是长视频生成方向还处于「等待...

先进的人工智能功能，已经成为许多人的游戏规则改变者。本文中列出的提示是为了优化您与这个强大工具的交互而精心设计的。通过利用它们，您不仅可以简化您的写作过程，还可以提高您的研究和见解的质量。一、提示产生创意如果您陷入困境或不确定从哪里开始，可以帮助您集思广益，为您的论文、论文或论文集思广益。为学术论文提出一些关于[您更广泛的主题或主题]的潜在主题。建议[您更广泛的主题]领域内与[特定兴趣或主题]相关的...

人工智能对预测分析产生了根本性的影响，使得预测比以往任何时候都更加精确。各行各业都在充分利用人工智能的强大能力，以预测未来趋势并为即将到来的事情做好准备。然而，预测的准确性取决于多个因素，包括人工智能算法的复杂性、预测模型的稳健性以及训练数据的质量和数量，仅举几例。Nixtla（注：一家专注于时间序列预测和软件开发的美国初创公司）的TimeGPT是一种生成性预训练模型，专门为预测时间序列数据而设计。它是一个...

人工智能技术如今正在快速发展和应用，人工智能模型也是如此。拥有100亿个参数的通用模型的性能正在碾压拥有5000万个参数的任务特定模型，在从单一模型解决许多任务方面表现出了卓越的性能。人工智能模型也正在变得多模态。微软公司的Florence2和OpenAI公司的GPT4V等新的视觉模型正在扩展这些模型的应用，以整合图像、视频和声音，将大型语言模型（LLM）强大的能力应用在数百万个新的用例中。事实证明，在模型工程领域，规模越...

传统上LLM被视为复杂的文本生成器，能够在给定输入的基础上产生连贯且相关的输出。斯坦福大学的最新研究《FromrtoQ∗:YourLanguageModelisSecretlyaQFunction》（论文链接：​​​https:arxiv.orgabs2404.12358​​​​）为我们提供了一个全新的视角，它将LLM视为Q函数，这是强化学习中用于评估行动预期效用的关键工具。这一创新观点不仅挑战了我们对LLM的传统认知，也为未来AI的发展方向提供了可能的新路径。这个观点提出了一...

创新点：1.利用Transformer来提取序列中的长期依赖关系的时序特征，采用并行结构，加快模型的训练和推理速度，提高模型对关键信息的感知能力；2.通过双向门控循环单元（BiGRU）同时从前向和后向对序列进行建模，以更好地捕获序列中的依赖关系，同时应用全局注意力机制GlobalAttention，对BiGRU的输出进行加权处理，使模型能够聚焦于序列中最重要的部分，提高预测性能；3.利用交叉注意力进行并行网络时空特征的融合，这样可以同...

大语言模型的成功充分证明了Transformer架构的先进性，越来越多的人希望把它应用到其它领域，而非NLP领域本身，因而也催生了以一套Transformer架构统一各种模态的研究热点。而在工业界有一个非常常见的场景却鲜有涉及，那就是结构化数据的时序预测类场景，通常认为这种方式利用统计和经典回归类模型就已经足够了，并且确实在过去的研究来看，以Transformer为代表的，在NLP，CV等方面大杀四方的深度学习模型在这方面表现也并不够...

指代分割(ReferringImageSegmentation，RIS)是一项极具挑战性的多模态任务，要求算法能够同时理解精细的人类语言和视觉图像信息，并将图像中句子所指代的物体进行像素级别的分割。RIS技术的突破有望在人机交互、图像编辑、自动驾驶等诸多领域带来革命性变革。它能够极大地提升人机协作的效率和体验。尽管目前最先进的RIS算法已经取得了显著进展，但仍然面临着模态差异(modalitygap)的问题，即图像和文本特征的分布并未完全对齐...

啊，刷爆外网的EMO模型它终于来了！！！上传一张照片，就能让照片里的人开口唱歌、说话、甚至讲段子。试了一下，效果还是相当不错，嘴型对得也很好，不愧是阿里出品的。它能够根据单一的参考图像和音频输入，直接生成具有丰富表情和多样头部姿势的虚拟角色视频，实在太好玩了。那在哪玩呢？由于内测太过火爆了，目前已经全量上架到通义千问App上，大家手机下载即可玩，快耍起来！先来试试，我们先用AI生成一张小姐姐的照片（这...

当独立的API相互连接时，它们变得极为强大。无论是与外部客户的互动、内部使用还是常规的端到端测试，几乎所有的在线交互实际上都是由相互连接的API网络构成的“流程”。这种相互连接是数字产品体验的核心。与API的强大能力相提并论，大型语言模型（LLMs）展现出了令人瞩目的推理能力，它们在解决问题时的迭代思维过程与人类非常相似。LLMs在进行重复迭代时展现出的能力，使其成为计算推理中的强大工具，特别是在形成“流程”的...

4月25日晚，斯坦福大学日报消息，OpenAI联合创始人兼首席执行官SamAltman，在斯坦福大学的英伟达（NVIDIA）礼堂进行了公开演讲，超过1000名学生排队参加此次活动。Altman表示，从现在的技术创新和功能迭代来看，人类远远没有达到AI的极限，如果只是聚焦现在的AI能力将会是徒劳的。一年前，OpenAI发布GPT4模型时，全世界陷入疯狂，认为将彻底改变很多行业的工作模式。如今我们回头再看GPT4，经常会讥讽地说，“它看起来好蠢啊GPT...

出品51CTO技术栈（微信号：blog51cto）就在昨天，黄教主亲手交付了OpenAI全球首块AI超级芯片DGXH200的当天，Sam马不停蹄就前往斯坦福大学的英伟达（NVIDIA）礼堂进行了公开演讲。图片SamAltman4月25日在斯坦福大学发表演讲，分享了他对人工智能未来的见解。Linkin上一位名为“WanrongHe”的斯坦福学生分享了从他富有启发性的演讲中得到的一些关键收获：一、人工智能的快速发展1.继GPT4之后的下一个人工智能模型将更加强大，这表...

出品51CTO技术栈（微信号：blog51cto）整理伊风RabbitR1，到货了！海外媒体和科技博主纷纷发出对这只“橙色兔子”的测评！鉴于AIPin到货后掀起的一阵“吐槽”狂潮，不禁让人为同为AI硬件定位的RabbitR1捏一把冷汗。不过无论结果如何，RabbitR1取得的成绩已经远超创始人JesseLyu的预料。他曾保守地估计RabbitR1首日的销量只有500，但最终狂卖了18000台。JesseLyu，吕骋，拥有诸多硬件设计的经历，同时是一位敢于“折腾”的连续创...

近日，研究人员发布了🚀MathVC🚀，一个“虚拟课堂”，其中包含多个🤖大语言模型（LLM）模拟的学生角色🤖，与人类学生讨论并共同解决数学问题，旨在为他们提供另一个练习数学建模技能的场所。该系统目前仅针对中学教育。网站:https:murongyue.github.ioMathVC.github.io论文:https:arxiv.orgpdf2404.06711.pdf代码和演示（尚未发布）：https:github.comMurongYueMathVC开发MathVC的首要问题在于，大语言模型如何模拟像现实中的中...

文章：https:arxiv.orgpdf2404.15141代码：https:github.comlmbxmuCutDiffusion将大预训练的低分辨率扩散模型转换以满足更高分辨率需求，即扩散外推，显著提高了扩散适应性。本文提出了无调优的CutDiffusion，旨在简化和加速扩散外推过程，使其更具成本效益并提高性能。CutDiffusion遵循现有的基于patch的外推方法，但将标准的patch扩散过程分为一个初步阶段，专注于全面的结构去噪，以及一个后续阶段，专注于特定细节的改进。...

撰稿言征出品51CTO技术栈（微信号：blog51cto）Sora带火了“视频一致性”的研究，但单纯在时间一致性已经不能满足业内对于高逼真视频的渴望。这不，华人又出来炸场了！近日，一个名为VideoGigaGAN的视频模型在业界走红。超分辨率电影镜头，不用等Sora了！图片据介绍，目前VSR（视频超分辨率）领域有两大难题：一个挑战是保持输出帧之间的时间一致性。第二个挑战是在上采样帧中生成高频细节。这篇论文主要的就是第二个问题。针对...

编译伊风出品51CTO技术栈（微信号：blog51cto）Meta是本周当之无愧的AI巨星！刚刚推出的Llama3凭借着强大的性能和开源生态的优势在LLM排行榜上迅速跃升。按理说，Llama3在开源的状态下做到了GPT3.7的水平，必然会显得用户（尤其是企业用户，他们更具备独立部署Llama3的能力）花钱买来的GPT4没那么香了。网友于是纷纷拱火，“鼓励”OpenAI交出GPT5，才能继续稳坐大模型王位。不单单是网友，就连OpenAI的研究员也有点坐不住了，跑...

近期，多模态大模型(MLLM)在文本中心的VQA领域取得了显著进展，尤其是多个闭源模型，例如：GPT4V和Gemini，甚至在某些方面展现了超越人类能力的表现。但是开源模型的性能还远远落后于闭源模型，最近许多开创性的研究，例如：MonKey、LLaVAR、TGDoc、ShareGPT4V等已开始关注指令微调数据不足的问题。尽管这些努力取得了显著的效果，但仍存在一些问题，图像描述数据和VQA数据属于不同的领域，图像内容呈现的粒度和范围存在不一致...

Snowflake发布高「企业智能」模型Arctic，专注于企业内部应用。刚刚，数据管理和仓库提供商Snowflake宣布加入LLM混战，发布了一款专注于企业级应用的顶级大型语言模型（LLM）——SnowflakeArctic。作为一家云计算公司推出的LLM，Arctic主要具备以下两个方面的优势：高效智能：Arctic在企业任务方面表现出色，例如SQL生成、编程和指令遵循，甚至可与使用更高计算成本训练的开源模型媲美。Arctic为经济高效的训练设定了新的基线，...

通过利用这些提示，您将毫不费力地完善您的内容并对读者产生持久的影响。对于学生来说，这意味着更好的成绩和对自己写作能力更有信心，而专业人士则可以享受更高的效率和客户满意度。语法检查1.“请检查以下句子是否有语法错误：'[句子]”2.“你能检查一下以下段落‘[paragraph]’的语法是否正确吗？”3.“我需要此[文档电子邮件论文]中的语法帮助：'[内容]'”4.“请校对[报告作业]并更正任何语法错误：'[文件链接]'”5.“这个[...

Llama3是在15万亿个公共数据标记上进行训练的。但是，您可以在哪里找到这样的数据集和处理方法呢？近日，HuggingFace发布🍷Fineweb，一个高质量的大规模筛选网络数据集，优于目前所有同等规模的数据集。HuggingFace训练了200多个消融模型，精心制作了这个数据集，对CommonCrawl进行了解析和过滤。HuggingFace对2013年至2024年间的所有CommonCrawl数据进行了筛选和去重。在FineWeb上训练的模型优于RefinedWeb、C4、DolmaV1.6、Th...

长文本大语言模型（LLMs）的崛起使得生成整本书的摘要成为可能。然而，评估这些摘要的质量，特别是它们与源材料的忠实程度和相关内容的选择，带来了重大挑战。近日，研究人员发表的论文《FABLES:Evaluatingfaithfulnessandcontentselectioninbooklengthsummarization》深入探讨了这一挑战，提出了一种新颖的数据集，并探讨了当前评估方法的局限性。评估长篇摘要的一个主要障碍在于源材料的庞大量级和复杂性。要求人类注释者阅读...

考虑一个标准的ResNet50模型，该模型经过训练用于图像分类任务。我们是否能够理解这个模型中的卷积滤波器如何将输入图像转换为其预测的标签？或者，GPT3中的注意力头如何contribute到下一个标记的预测？理解这些模型组件——包括滤波器或头等架构“构建块”——如何集体塑造模型行为（包括模型失败）是困难的。毕竟，深度网络在很大程度上是黑匣子——由模型组件之间高度非线性交互构成的复杂计算图。受到这一挑战的启发，解释...

链接地址：https:arxiv.orgpdf2404.14381代码链接：https:github.comOpenNLPLabTAVGBench文本到可听视频生成（TAVG）任务涉及根据文本描述生成带有配套音频的视频。要实现这一目标，需要巧妙地对齐音频和视频元素。为了支持这一领域的研究，本文开发了一个全面的文本到可听视频生成基准（TAVGBench），其中包含超过170万个片段，总时长为11800小时。本文提出了一个自动标注pipeline，以确保每个可听视频都有关于其音频和视频内...

图表1:大模型的通用训练流程[1]在人工智能的前沿领域，大语言模型（LargeLanguageModels，LLMs）由于其强大的能力正吸引着全球研究者的目光。在LLMs的研发流程中，预训练阶段占据着举足轻重的地位，它不仅消耗了大量的计算资源，还蕴含着许多尚未揭示的秘密。根据OpenAI的研究，在InstructGPT的开发过程中，预训练阶段近乎耗尽了全部的算力和数据资源，占比高达98%[2]。图表2:带着笑脸的修格斯[3]预训练模型宛如一头未经雕琢却...

刚刚，Adobe正式宣布推出新的图像生成模型FireflyImage3，即日起在FireflyWeb应用程序、AdobePhotoshop和AdobeInDesign中提供测试版，并在「今年晚些时候」全面上市，旨在让创作者能够提高工作效率，生成更高质量、更详细的图像。Adobe表示，FireflyImage3提供了前所未有的逼真质量，具有更好的光照、定位和对细节的关注。FireflyImage3比之前的Firefly模型更能理解长的描述性文本提示（prompt），并且可以在其生成的图像中生成...