AI.x社区

编译丨诺亚出品51CTO技术栈（微信号：blog51cto）今年是美国大选年，两党的对决仿佛“昨日再现”，特朗普和拜登再次站在了擂台之上。选举效应从来牵连甚广，而蝴蝶的翅膀已然影响到科技圈。随着总选举的临近，众多科技企业在推出AI系统和大模型时都“拘谨”了不少。这种保守态度并不出人意料，万一有人蓄意利用这些技术进行错误信息传播，甚至对选举流程或成果产生影响，那么必会招致政府的严格监管。OpenAI首席技术官MiraMurat...

AI的发展将终结人类学习外语的需求？我们先来看一组数据，根据现代语言协会（MLA）的最新数据显示，2009年到2021年，美国大学非英语课程的注册人数下降了29.3%。2021年，只有8.6%的澳大利亚高中生学习外语，这是历史新低。韩国和新西兰的大学正在关闭他们的法语、德语和意大利语系。教育公司EFEducationFirst的一项最新研究发现，某些地区的年轻人的英语水平正在下降。虽然这种外语学习逐渐趋冷的势头的原因可能是由于疫情导致...

今天，Meta发布了Llama3.1模型，延续了他们从最初的Llama3“预览版”开始就践行的开源理念，即尽早发布和频繁发布。Llama3.1模型有三种规模：8B、70B和长期传闻中的405B参数。对于其规模来说，这些模型是同类中最优秀的开源模型。4050亿参数模型直接与Anthropic的Claude3和OpenAI的GPT4o处于同一水平。Llama3.1的营销以及Meta的AI战略正在直接推动将开源软件实践转化为开源AI。这次发布的核心和AI的未来是AI能有多“开源”，以...

大家好，我是HxShine今天分享一篇ACL2024关于LLM蒸馏的文章，来自EmoryUniversity，题为“ExplanationGuidedLargeLanguageModelsActiveDistillation”（解释引导的大型语言模型主动蒸馏）。在大型语言模型（LLMs）的应用中，由于其内存效率低、计算需求高以及API推理成本高，限制了其广泛部署。现有的知识蒸馏方法虽然能将LLMs的能力转移到较小模型上，但无法确保知识充分转移，可能导致高成本或蒸馏不完全。本文提出了一个简单...

GPT5已经开始红队测试了？就在这几天，网上已经有多人晒出了OpenAI发给自己的红队录取通知书。此前有传闻说，GPT5将于今年6月发布。看起来，红队测试与模型发布的时间线十分吻合。有网友直接晒出了自己收到OpenAI邮件邀请的截图。这倒是和此前SamAltman的说法对上了。据悉，GPT5早已为大家准备好，只是发布风险太大了，所以还得往后延。三个月就能用了？不过还有人表示，先别急，这些人只是收到了红队邀请测试而已，并没有提及...

​摘要:从头开始训练大型语言模型（LLM）可以生成具有独特功能和优势的模型，但这需要巨大的成本，并可能导致冗余功能。另一种具有成本效益且引人注目的方法是将现有的预训练LLM合并为一个更强大的模型。然而，由于这些LLM架构各不相同，直接融合它们的权重并不可行。在本文中，我们引入了LLM知识融合的概念，旨在将现有LLM的能力整合并转移到一个单一的LLM中。通过利用源LLM的生成分布，我们外化了它们的集体知识和独特优势，...

01引言这是UIUCZifengWang等发表在ICLR'24上的论文。论文题目：BioBridge:BridgingBiomedicalFoundationModelsviaKnowledgeGraphs论文链接：​​https:arxiv.orgpdf2310.03320.pdf​​在生物医学研究领域，一直以来，基础模型（FoundationModels，简称FMs）大多局限于单一模态的数据处理，比如仅仅专注于蛋白质序列、小分子结构或者是临床数据分析。这种单模态的处理框架虽然在特定任务上表现出色，但在应对多样化的生物医学数...

在2024世界经济论坛的一次会谈中，图灵奖得主YannLeCun提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间[1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，正是促进该过程的关键技术。然而，当下视频与文本描述间广泛存在的噪声关联现象严重阻碍了视频表征学习。因此本文中，研究者基于最优传输理论，提出鲁棒的长视频学习方案以应对该挑战。该论文被机器学习顶会ICL...

最近，来自澳大利亚蒙纳士大学、蚂蚁集团、IBM研究院等机构的研究人员探索了模型重编程(modelreprogramming)在大语言模型(LLMs)上应用，并提出了一个全新的视角：高效重编程大语言模型进行通用时序预测–其提出的TimeLLM框架无需修改语言模型即可实现高精度时序预测，在多个数据集和预测任务中超越了传统的时序模型，让LLMs在处理跨模态的时间序列数据时展现出色，就像大象起舞一般！近期，受到大语言模型在通用智能领域的启发...

在传统搜索应用中，有一个核心的模块叫意图识别，即识别用户搜索请求时的意图，基于意图不同生成不同的Query或执行不同的逻辑。在RAG应用中，仍然存在着类似的路由模块完成请求分发。这样的路由分发需求无处不在，特别是在自然语言交互的应用中，并且会随着系统支持的场景和功能增多而变得越来越重要。所谓路由就是一个能够根据一段自然语言输入进行意图判断形成离散输出的模块。典型的场景比如智能客服中的指令任务分发，硬盘...

​NLG技术在文本摘要、对话系统、问答以及机器翻译等多个领域扮演着至关重要的角色。伴随着深度学习技术的飞速发展，尤其是以Transformer为基础的模型如BERT、BART、GPT2和GPT3的问世，NLG领域迎来了前所未有的繁荣。然而，在NLG模型训练与解码过程中，我们不得不面对一个挑战——幻觉现象。这种现象指的是模型生成的文本可能缺乏趣味性、连贯性，甚至出现重复且毫无意义的输出，有时这些输出还会与原始输入相矛盾。这些“幻觉...

随着人工智能技术的飞速发展，3D语言模型（3DLLMs）已成为研究的热点，它们在理解和生成语言指令方面展现出了巨大的潜力。这些模型不仅能够处理文本信息，还能理解和操作三维空间中的物体，这对于发展能够与物理世界互动的智能系统至关重要。3D语言模型的核心在于其能够将语言与三维场景紧密结合。传统的大型语言模型（LLMs）如GPT和BERT等已经在文本处理方面取得了显著成就，但它们主要处理的是二维图像和文本数据。而3DLLMs则...

Replicate是一个云端的机器学习模型运行平台。它可以让用户使用云端API直接运行机器学习模型，而无需了解复杂的机器学习模型内部构造。Replicate允许用户在Python或JupyterNotebook中运行模型，并在云端进行模型的部署和调优。你可以用它运行他人发布的开源模型，也可以打包并发布自己的模型。使用Replicate，你只需一行代码就可以生成图像、运行和调优开源模型，以及部署自定义模型。通过在Python代码中调用Replicate的API，你...

刚刚，Adobe正式宣布推出新的图像生成模型FireflyImage3，即日起在FireflyWeb应用程序、AdobePhotoshop和AdobeInDesign中提供测试版，并在「今年晚些时候」全面上市，旨在让创作者能够提高工作效率，生成更高质量、更详细的图像。Adobe表示，FireflyImage3提供了前所未有的逼真质量，具有更好的光照、定位和对细节的关注。FireflyImage3比之前的Firefly模型更能理解长的描述性文本提示（prompt），并且可以在其生成的图像中生成...

论文链接：https:arxiv.orgpdf2506.15564Git链接：https:github.comshowlabShowo亮点直击提出了一种改进的原生统一多模态模型，无缝整合自回归建模与流匹配技术，能够跨（交错）文本、图像及视频实现广泛的多模态理解与生成任务。基于3D因果VAE空间，通过语义与低维特征的双路径时空融合机制，构建了可扩展至多模态理解与生成、图像与视频模态的统一视觉表示。设计了一种两阶段训练流程，高效学习统一多模态模型，既能保留语言...

论文链接：https:arxiv.orgpdf2405.10314项目链接：https:cat3d.github.io3D重建的进步使得高质量的3D捕捉成为可能，但需要用户收集数百到数千张图像来创建一个3D场景。本文提出了CAT3D，一种通过多视点扩散模型模拟这种现实世界捕捉过程的方法，可以在3D中创建任何东西。给定任意数量的输入图像和一组目标新视点，本文的模型生成高度一致的场景新视图。这些生成的视图可以作为输入，用于稳健的3D重建技术，从而生成可以实时从...

文章链接：https:arxiv.orgpdf2503.05639项目链接：https:yxbian23.github.ioprojectvideopaintergit链接：https:github.comTencentARCVideoPainter亮点直击提出了VideoPainter，首个支持即插即用背景控制的双分支视频修复框架。设计了一个轻量级上下文编码器，用于高效且密集的背景控制，并引入了修复区域ID重采样技术，以在任意长度的视频修复和编辑中保持ID一致性。推出了VPData，这是最大的视频修复数据集，包含超过390K个...

简介生成类似人类的文本和语音曾经只有在科幻小说中才成为可能。但是，GPT3和PaLM等大型语言模型（LLM）的快速发展使这一愿景更接近现实，并且相应地出现一系列基于它们的从聊天机器人到内容创建等领域颇有前景的商业应用程序。然而，通用的基础模型往往无法满足特定行业场景的具体需求。企业对其生成型人工智能应用程序有不同的要求，涉及到从性能、成本、延迟性乃至到可解释性等诸多方面。此外，可用于模型训练的数据的性质和...

法院正在探讨并决定生成式人工智能是否侵犯版权。本文中，让我们来谈谈这到底意味着什么。美国的版权法是一件复杂的事情。我们这些不是律师的人很难弄清楚它的真正含义，以及它能保护什么和不能保护什么，这是可以理解的。数据科学家不会花很多时间考虑版权问题，除非我们为开源项目选择许可证。即便如此，有时我们只是跳过这一点，并没有真正处理它，尽管我们知道我们应该这样做。但法律界开始密切关注生成式人工智能领域对于...

5月14日，OpenAI发布了GPT4o，支持文本、图像、语音、视频等多种形式的输入，大幅提升了推理响应的速度，在非英文任务上具有较大提升，并拥有比现有模型更强的视觉理解能力。我们第一时间对GPT4o模型的图像文本多模态能力进行了评测。OpenAI官方公布的视觉理解性能基于多模态大模型开源评测工具VLMEvalKit，我们在OpenVLMLeaderboard中的十二个图文多模态评测集上测试了GPT4o的视觉能力。GPT4o(20240513)与此前的GPT4v版本在各...