AI.x社区

文章链接：https:arxiv.orgpdf2403.17694Github链接：​​https:github.comZejunYangAniPortrait​​本文提出了AniPortrait，一个新颖的框架，用于生成由音频和参考人像驱动的高质量动画。方法分为两个阶段。首先，从音频中提取3D中间表示，并将它们投影到一系列2D面部关键点上。随后，采用了一个强大的扩散模型，结合一个运动模块，将关键点序列转换为逼真且时间上连贯的人像动画。实验结果表明，在面部自然性、姿势多样性和视...

先思考一个问题：一个依赖于云端AI的PC，能够称之为AIPC吗？2024年的PC市场，AIPC无疑会是最重要的概念之一，主流PC厂商以及英特尔、AMD都在下重金押注。但对于已经发布的AIPC产品，不少人并不认可，核心在于这些AIPC中「AI」与「PC」（硬件）基本是分离的。很简单，就拿目前PC上最大的AI用例——微软Copilot来说，在英特尔与微软对「AIPC」的联合定义中，强调必须配备混合架构芯片、Copilot及其对应的物理按键。但事实是，所有...

3月27日，美国数据和人工智能公司Databricks宣布开源MosaicResearch团队主导开发的通用混合专家（MoE）大语言模型DBRX。DBRX的研发历经数月，耗资约1000万美元，共包含1320亿参数，16个专家网络，每次推理时会启用其中的4个专家网络和360亿参数。DBRX在语言理解、编程、数学和逻辑等方面表现卓越，不仅在性能上超过了开源大模型Llama2、Mixtral以及马斯克新开源的Grok1，而且在多项评分上已经逼近GPT4。HyperWriteAICEOMattShum...

论文题目：OPERA:AlleviatingHallucinationinMultiModalLargeLanguageModelsviaOverTrustPenaltyandRetrospectionAllocation论文地址：​​https:arxiv.orgabs2311.17911​​代码地址：​​https:github.comshikiwOPERA​​01背景从LLaVA到QwenVL，从GPT4V到Claude3，幻觉（Hallucination）问题一直是当前多模态大模型（MLLM）的重要问题。当前大多数的多模态大模型对于用户提供的图像和提问，容易因为幻觉给出非常离谱的回答，...

随着生成模型（如ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。面对这一处境，一个近期的研究热度是，能否利用生成模型生成的假数据来辅助学习？学界对此也产生了许多争论：到底是可以左脚踩右脚（bootsrap）地实现weaktostrong的不断提升，还是像鸡生蛋、蛋生鸡一样，只不过是徒劳无功？在近期ICLR2024工作中，北大王奕森...

前不久，曹云金给郭德纲直播刷火箭登上热搜。网友们除了各自站队之外，还有不少人表示，你们俩什么时候世纪大和解啊？说起和解，其实AI圈也有不少矛盾。有些是缠绵多年的新仇旧恨，有些是要对簿公堂的深仇大恨。如果这些矛盾都能世纪大和解，那么AI行业会发生什么？大愚人节的，我们给大伙整个活：盘点一下AI圈有哪些最知名，最持久，最让人闹心的矛盾。这些矛盾想要和解，前提条件是什么？和解了之后又会怎样？话不多说，咱们...

整理丨诺亚出品51CTO技术栈（微信号：blog51cto）近日，苹果宣布，全球开发者大会（WWDC）将于6月10日（北京时间6月11日）开幕，大会面向所有开发者全程在线开放。据官方新闻稿介绍，本次活动“旨在展示iOS、iPadOS、macOS、watchOS、tvOS和visionOS的前沿创新”。此前多方报道称AI将会成为下一个大版本iOS、macOS等系统的主要更新方向。传闻也并非无的放矢。向来保守的苹果正积极寻求合作以提升其生成式人工智能技术实力。最新...

图1：原论文信息AttentionIsAllYouNeed：https:arxiv.orgpdf1706.03762.pdfIntroductionTransformer——由Google的研究人员在2017年的《AttentionIsAllYouNeed》[1]中提出。其首先在NLP领域中取得了SOTA的表现，之后也逐渐的被运用到CV及其他领域里，依旧展露出耀眼的锋芒！网络上已有很多乐于奉献的博主、大佬们通过文章、视频等方式详细解释了Transformer的整体架构，对我的学习起到了极大的帮助。本文着重于以下两点：Dimens...

OpenAI发布的视频生成模型Sora(https:openai.comsora)，能根据文本生成长达一分钟的高质量视频，理论上支持任意分辨率，如1920x1080、1080x1920，生成能力远超此前只能生成25帧576x1024图像的顶尖视频生成模型StableVideoDiffusion。一起公布的，还有一篇非常简短的技术报告，报告大致介绍了Sora的架构及应用场景，并未对模型的原理做过多的介绍。技术报告链接：https:openai.comresearchvideogenerationmodelsasworldsimulator...

大语言模型表现出色，但是在处理幻觉、使用过时的知识、进行不透明推理等方面存在挑战。检索增强生成（RAG）作为一个新兴的解决方案，通过整合外部知识库的数据，提高了模型在知识密集型任务中的准确性和可信度，能够实现知识持续更新和特定领域信息的集成，有效将LLM的内在知识与外部数据的巨大动态资源相结合。本文主要是对综述论文《RetrievalAugmentedGenerationforLargeLanguageModels:ASurvey》的概括和解读，同时也会整...

3月30日凌晨，OpenAI在官网首次展示了全新自定义音频模型“VoiceEngine”。用户只需要提供15秒左右的参考声音，通过VoiceEngine就能生成几乎和原音一模一样的全新音频，在清晰度、语音连贯、音色、自然度等方面比市面上多数产品都强很多。除了能合成音频之外，OpenAI还展示了VoiceEngine很多其他际商业用途，例如，一位失去声音表达能力的女孩，在VoiceEngine帮助下能像以前一样正常发音说话。VoiceEngine功能展示OpenAI并非展...

有这样一家曾因“炒币”亏损而上热搜的公司，在兜兜转转尝试无数赛道数年、亏损近20亿元后，转身发现自己一直守着的主营业务，在AI能力的加持之下，居然是这么大的一座金矿......3月15日，美图公司发布其2023年年度报告，财报显示，公司2023年营收收入约26.96亿元，同比增长29.27%，净利润为3.78亿元，同比增长301.8%。针对为何2023年度业绩快速增长，其实公司早在业绩预报中就已经给出答案，美图表示2023年利润的显著增长主要...

大模型的风想要挂向教育行业的深处，还得再等上一些时日。ChatGPT在市场上火得一塌糊涂，大有颠覆传统教育行业的趋势，而体制内却冷静得像是不知道ChatGPT的存在。“你知道现在很火的ChatGPT吗？”——「智能相对论」在与身边几位公立学校的教师朋友交流ChatGPT、大模型、AI教育等话题后发现，体制内的教师对于这类热点话题并不了解，似乎也不在意其是否能颠覆传统教育模式的问题。在他们看来，AI要颠覆传统教育模式太遥远了，...

2023年卷了一年大模型之后，业内的普遍共识是，2024年将是AI大模型应用的浪潮年。虽然底层模型技术还在爬坡，应用层普遍都处于早期阶段，但业内已经开始期待KillerApp的出现。特别是年初Sora的横空出世，带来关于垂类模型和具体行业落地的大讨论。从已有的AIGC应用分布来看，厂商们押宝的大方向更多地集中在两个AIGC工具与AI社交两个赛道。前者无论关注度还是下载量，目前都处于表现不俗。例如包括Midjourney、Quillbot等在内的...

当前研究关注大型语言模型在处理已知和未知问题时的知识边界。主要问题可分为四类：单一已知问题可通过模型内部知识解决，单一未知问题需调用外部工具获取知识，组合已知问题需要复杂推理，而组合未知问题则包含其他可能性。如何选择使用外部检索或模型内部知识来回答问题是个挑战。一种方法是朴素RAG，另一种是先评估问题的确定性或不确定性，然后调用生成读取或检索读取。然而，这两种方法都有局限性，简单地调用外部检索并不...

本文对基于适配器的可迁移推荐系统进行了实验探索和深入研究。发现在文本推荐方面，基于适配器的可迁移推荐取得了有竞争力的结果；在图像推荐方面，基于适配器的可迁移推荐略落后于全量微调。后续本文对四种著名的适配器微调方法进行了基准测试，并深入研究了可能影响适配器微调在推荐任务中的几个关键因素。论文题目：ExploringAdapterbasedTransferLearningforRecommenderSystems:EmpiricalStudiesandPracticalInsights论文链...

人类的语言是一种对复杂世界的高度简洁的编码，特别是语言中颜色的概念，成功地将原本极大的色彩空间（如256三次方真色彩空间）压缩至5到10种颜色。受此启发，来自上海交大，日本理化学研究所，东京大学的研究人员，提出全新的基于视觉任务的色彩量化（colourquantisation）技术，利用深度学习重现人类数万年的颜色概念的演化。这项技术不但能推进文化人类学的研究，更是为网络量化(neuralnetworkquantisation)以及多模态大语言...

本文深入探讨了基于参考物体的人工智能图像生成（AIGC）技术的最新进展。首先概述了该类技术如何发展至今，然后着重分析了两篇重要的相关学术论文。随后，文章针对家居导购领域的特殊应用场景，讨论了运用此项技术时遭遇的挑战和取得的最新效果。​一、引言随着AIGC技术的快速发展，其中以StableDiffusion模型为代表的的文生图技术已经在内容生成领域产生了应用价值，用户只需要提供一段文本输入，就能通过AI模型快速生成大量美...

图像超分辨率技术旨在将低分辨率图像转换为高分辨率图像，从而提高图像的清晰度和细节真实性。随着超分技术的发展和手机硬件性能的提升，人们期望拍摄出更加清晰的照片。这项技术在手机影像等领域有着广泛的应用和需求。然而，现有的超分方法存在一些局限性，如下图所示，主要有以下两个方面：一是缺乏泛化能力。为了实现更好的超分效果，通常需要针对特定场景使用特定传感器采集到的数据来进行模型训练，这种学习方式拟合了某...

随着大语言模型在现实场景中逐渐落地（例如ChatGPT和Gemini），其生成内容的安全性也开始逐渐被大众关注。通常来讲，我们希望大模型避免生成包含危险内容的回复，从而减少对用户的不良影响，因此评测一个大模型的安全性并分析其弱点成为了一件急需完成的事情。上海人工智能实验室研究团队提出了新的大模型安全BenchmarkSALADBench。相比以往的Benchmarks，SALADBench有以下优势：包含三个层次结构，数量超2万条的大规模分类数据...