AI.x社区

文本嵌入模型在自然语言处理中扮演着重要角色，为各种文本相关任务提供了强大的语义表示和计算能力。在语义表示上，文本嵌入模型将文本转换为高维向量空间中的向量表示，其中语义上相似的文本在向量空间中距离较近，从而捕捉了文本的语义信息，这种表示有助于计算机更好地理解和处理自然语言；在文本相似度计算上，基于文本嵌入的向量表示，可以轻松地计算文本之间的相似度，从而支持各种应用，如信息检索、问答系统和推荐系统...

GPT4V的推出引爆了多模态大模型的研究。GPT4V在包括多模态问答、推理、交互在内的多个领域都展现了出色的能力，成为如今最领先的多模态大模型。然而，近期很多工作发现GPT4V在很多基本能力上却意外的出现短板。例如，在微软一篇长达166页的技术报告《TheDawnofLMMs:PreliminaryExplorationswithGPT4V(ision)》中，作者发现，对于一个不太复杂的图像中的苹果数量，GPT4V竟然怎么数也数不对。然而，学术界和工业界尚不清楚导致这...

出品51CTO技术栈（微信号：blog51cto）“模型越大，效果越好”，ScalingLaw再次被OpenAI带火了，但谷歌的研究人员的最新研究证伪了这一观点。在周一发表的一项研究中，谷歌研究院和约翰霍普金斯大学的研究人员对人工智能(AI)模型在图像生成任务中的效率有了新的认识。这些发现挑战了“越大越好”的普遍信念，可能对开发更高效的人工智能系统产生重大影响。1.模型大小与性能之间的较量这项研究由研究人员KangfuMei和ZhengzhongTu...

几天前，OpenAI官方账号发布了第一支由Sora制作的MV——Worldweight，引全网围观。AI视频，已然成为多模态LLM发展的大趋势。然而，除了视频生成，让LLM对复杂视频进行理解，也至关重要。最近，来自KAUST和哈佛大学的研究人员提出了MiniGPT4Video——专为视频理解而设计的多模态大模型。论文地址：​​https:arxiv.orgpdf2404.03413.pdf​​值得一提的是，MiniGPT4Video能够同时处理时态视觉数据和文本数据，因此善于理解视频的...

在人工智能构筑的世界中，AI有时会像人一样存在着某种偏见或倾向性。比如对于大语言模型而言，由于训练数据的影响会不可避免地存在性别偏见、种族刻板印象，等等。当然，这种偏见或倾向性在图像生成工具中同样存在。今年2月，谷歌Gemini被曝出拒绝在图像中描绘白人，生成大量违背基本事实（性别、种族、宗教等）的图片。马斯克也被系统过分矫正了。近日，外媒TheVerge的一篇文章指出，Meta的AI图像生成器无法准确生成「亚洲男性...

「小破站鬼畜区的新质生产力工具。」近日，腾讯开源发布的一个新项目在推上获得了如此评价。这个项目是AniPortrait，其可基于音频和一张参考图像生成高质量动画人像。该项目刚上线几天，就已经收获了广泛好评：GitHubStar数已经突破2800。下面我们来看看AniPortrait的创新之处。论文标题：AniPortrait:AudioDrivenSynthesisofPhotorealisticPortraitAnimation论文地址：https:arxiv.orgpdf2403.17694.pdf代码地址：https:github...

在探索人工智能边界时，我们时常惊叹于人类孩童的学习能力——可以轻易地将他人的动作映射到自己的视角，进而模仿并创新。当我们追求更高阶的人工智能的时候，无非是希望赋予机器这种与生俱来的天赋。由上海人工智能实验室，南京大学，中科院深圳先进技术研究院牵头，联合东京大学，复旦大学，浙江大学，中国科学技术大学等高校的学生和研究者，共同公布了跨视角技能学习数据集EgoExoLearn，为机器人赋予了通过观察他人学习新动...

大模型不看图，竟也能正确回答视觉问题？！中科大、香港中文大学、上海AILab的研究团队团队意外发现了这一离奇现象。他们首先看到像GPT4V、GeminiPro、Qwen1.572B、YiVL34B以及LLaVANext34B等大模型，不管是闭源还是开源，语言模型还是多模态，竟然只根据在多模态基准MMMU测试中的问题和选项文本，就能获得不错的成绩。△蓝色表示能看到图的LVLMs，橘色和绿色分别表示只接收问题和选项文本的LLMs和LVLMs（LLM：大语言模型；LVLM...

谷歌终于更新了Transformer架构。最新发布的MixtureofDepths（MoD），改变了以往Transformer计算模式。它通过动态分配大模型中的计算资源，跳过一些不必要计算，显著提高训练效率和推理速度。结果显示，在等效计算量和训练时间上，MoD每次向前传播所需的计算量更小，而且后训练采样过程中步进速度提高50%。这一方法刚刚发布，就马上引发关注。MoE风头正盛，MoD已经来后浪拍前浪了？还有人开始“算账”：听说GPT4Turbo在Blackwel...

“只需”10万美元，训练Llama2级别的大模型。尺寸更小但性能不减的MoE模型来了：它叫JetMoE，来自MIT、普林斯顿等研究机构。性能妥妥超过同等规模的Llama2。△贾扬清转发要知道，后者可是数十亿美元级别的投入成本。JetMoE发布即完全开源，且学术界友好：仅使用公开数据集和开源代码，用消费级GPU就能进行微调。不得说，大模型的打造成本，真的比人们想的要便宜更多了。Ps.StableDiffusion前老板Emad也点了赞：10万美刀实现Llam...

去年，AutoGPT的出现让我们见识到了AI代理强大的自动化能力，并开创了一个全新的AI代理赛道。但在子任务调度、资源分配以及AI之间协作还有不少的难题。因此，罗格斯大学的研究人员开源了AIOS，这是一种以大模型为核心的AI代理操作系统。可有效解可决随着AI代理的增加，资源调用率低的难题，同时能促进代理之间的上下文切换、实现并发执行代理并维护代理的访问控制。开源地址：https:github.comagiresearchAIOS论文地址：https:a...

大模型又被曝出安全问题？这次是长上下文窗口的锅！今天，Anthropic发表了自己的最新研究：如何绕过LLM的安全限制？一次越狱不够，那就多来几次！论文地址：​​https:wwwcdn.anthropic.comaf5633c94ed2beb282f6a53c595eb437e8e7b630ManyShotJailbreaking202404020936.pdf​​在拿着Claude3一家叫板OpenAI之余，Anthropic仍然不忘初心，时刻关注着他的安全问题。一般情况下，如果我们直接向LLM提出一个有害的问题，LLM会委婉拒...

引言：探索记忆消除的界限在人工智能的发展过程中，一个引人入胜的议题是机器学习模型是否能够被训练以忘记其曾经学到的信息。近期，RonenEldan和MarkRussinovich在其研究“谁才是哈利·波特？”[1]中提出了一种创新技术，声称能够从LLMs中“抹去”特定数据集的记忆，尤其是针对《哈利·波特》这样的知名作品。他们的方法引发了业界的广泛关注，并被认为是在LLMs“遗忘”技术领域的一大突破。但是，本文将对Eldan和Russinovich...

引言：大语言模型的高效微调及其在多样化任务中的应用在人工智能领域，大语言模型（LLMs）已成为推动技术进步的关键力量。它们在理解和生成自然语言方面展现出了卓越的能力，从而在问答系统、机器翻译、信息提取等多样化任务中发挥着重要作用。然而，要将这些模型适配到特定的下游任务中，通常需要进行微调（finetuning），这是一个资源密集型的过程。高效的微调方法因此成为了研究的热点，旨在减少训练成本，同时保持或提升模...

你有没有想过，如果有一天ChatGPT有了身体，跑到你办公桌上成了你的宠物，这是个多么有趣的场景，LOOI就是这样一款把幻想带进现实的产品不得不说，ChatGPT让具身智能达到了新高度，LOOI便应运而生。LOOI是什么LOOI是一个集成了ChatGPT为大脑的智能桌面机器人，你可以叫它为ˈluːi，类似于英美口音中的“Louie”（路易）。它可以理解复杂的指令，与人类顺畅地沟通。它还能通过视觉模块感知周围的一切，他会想要了解你在做什么，...

OpenAI又带来了一项超酷的进展！周五推出了一项名为VoiceEngine的语音引擎，仅凭一段15秒的声音样本，便能够精准模仿出那个人的声音。VoiceEngine的独特之处在于，它能通过简单的文本输入和短短音频样本，创造出非常接近原始说话者的自然声音。这意味着无论你让它读什么语言的文字，都能以那个人独有的声音风格朗读，效果既逼真又充满感情。总而言之，OpenAI通过这项新技术展示了人工智能复制人声的惊人可能性，接下来让我们一...

2024年3月21日，HeyGen5.0正式发布！这款革命性的AIGC产品将AI数字人的魔力融入视频创作，以其简洁易用的特性，让视频制作变得轻而易举。只需几次点击，即可打造出令人惊叹的高品质视频作品！不仅如此，HeyGen支持超过40种语言和多种口音，每一个数字人都是语言大师！如此惊艳！HeyGen5.0生成的数字人不仅可以保持口型同步，克隆语音语调，保留背景声，还能精准的识别和追踪用户的身体动作，如手部移动和手势！让我们看看下面的...

引言：大语言模型数学能力评估的重要性数学能力的评估对于理解和发展大语言模型（LLMs）至关重要。数学问题不仅涉及对数字的理解和操作，还包括了抽象概念化、逻辑推理等核心能力的考察。因此，一个高质量的数学评估基准对于全面评估LLMs的能力具有重大意义。传统的数学问题数据集，如AddSub和MultiArith（下图），提供了基础的数学词汇问题库，但这些通常只能评估模型在特定数学问题上的准确性。随着中文LLMs的迅速发展，相应...

StabilityAI又有新动作！程序员又有危机了？3月26日，StabilityAI推出了先进的代码语言模型StableCodeInstruct3B，该模型是在StableCode3B的基础上进行指令调优的CodeLM。StabilityAI表示，StableCodeInstruct3B在代码完成准确性、对自然语言指令的理解以及处理多种编程语言方面都优于同类模型，在3B规模下提供最先进的性能，并且性能媲美Codellama7BInstruct以及DeepSeekCoderInstruct1.3B先让我们来感受一下StableCodeInstruc...

编译丨伊风出品51CTO技术栈（微信号：blog51cto）对生成性人工智能（generativeAI）的需求正不断增长，而对LLM安全和可靠性的担忧也变得比以往任何时候都更加突出。企业希望能确保为内外部使用而开发的大规模语言模型（LLM）能够提供高质量的输出，而不会偏离到未知领域。微软认识到这些担忧，长期以来，微软使用OpenAI的模型只能调用API，对黑盒里的秘密缺少掌控的方法。微软近期宣布推出了新的AzureAI工具，用以帮助解决大模...