AI.x社区

最少只需1个3D样例，即可生成3D主题乐园。来自香港城市大学、上海人工智能实验室和南洋理工大学SLab的研究人员提出了一种名为ThemeStation的新颖框架。它可以从少量3D样例中生成主题一致的高质量3D画廊。还能基于文本控制，生成想要的3D资产。比如“穿正装的猫头鹰”。要知道，虚拟世界和游戏等应用中，常常需要大规模主题一致的3D模型，如古城中的建筑群、虚拟生态系统中的怪物阵容。尽管一位资深3D建模师可以创作出若干主题一...

芝麻粒大小的人脑组织，突触规模就相当于一个GPT4！谷歌与哈佛联手，对局部人脑进行了纳米级建模，论文已登Science。这是迄今为止最大、最详细的人脑复制品，首次展示出了大脑中的突触连接网络。凭借超高分辨率，这个名为H01的重建，已经揭示了一些以前未曾见过的关于人类大脑的细节。项目通讯作者、哈佛大学Lichtman教授介绍说，在此之前，没有人真正看到过这样复杂的突触网络。这一建模成果，将有助于更深入地了解大脑的运作...

ControlNet作者新作，玩儿得人直呼过瘾，刚开源就揽星1.2k。用于操纵图像照明效果的ICLight，全称lmposingConsistentLight。玩法很简单：上传任意一张图，系统会自动分离人物等主体，选择光源位置，填上提示词，就能毫无破绽的融入新环境了！赶紧来个王家卫式的打光：不喜欢？没关系，换成窗外打进来的自然光，也就分分钟的事。目前，ICLight提供两类模型：文本条件重照明模型，还有背景条件模型。两种模型都需要以前景图像作为...

图学习领域的数据饥荒问题，又有能缓解的新花活了！OpenGraph，一个基于图的基础模型，专门用于在多种图数据集上进行零样本预测。背后是港大数据智能实验室的主任ChaoHuang团队，他们还针对图模型提出了提示调整技术，以提高模型对新任务的适应性。目前，这项工作已经挂上了GitHub。据介绍，这项工作主要深入探讨增强图模型泛化能力的策略（特别是在训练和测试数据存在显著差异时）。而OpenGraph旨在通过学习通用的图结构模式，...

把AlphaGo的核心算法用在大模型上，“高考”成绩直接提升了20多分。在MATH数据集上，甚至让7B模型得分超过了GPT4。一项来自阿里的新研究引发关注：研究人员用蒙特卡洛树搜索（MCTS）给大语言模型来了把性能增强，无需人工标注解题步骤，也能生成高质量数据，有效提升大模型的数学成绩。论文发布，让不少网友重新关注到了蒙特卡洛树搜索这个在前大模型时代的明星算法。有人直言：蒙特卡洛树搜索+LLM是通往超级智能之路。因为“树...

首届ICLR时间检验奖，颁向变分自编码器VAE。这篇跨越十一年的论文，给后续包括扩散模型在内的生成模型带来重要思想启发，才有了今天的DALLE3、StableDiffusion。此外，在音频、文本等领域都有广泛应用，是深度学习中的重要技术之一。论文一作、VAE主要架构师DiederikKingma可是妥妥大佬一枚。现在他在DeepMind担任研究科学家，曾是OpenAI创始成员、算法负责人，还是Adam优化器发明者。网友纷纷表示祝福：WellDeserved，并称VAE...

最快5分钟，打造一个直接上岗工作的3D数字人。这是大模型给数字人领域带来的最新震撼。就像这样，一句话描述需求：生成的数字人直接就能进驻直播间当主播。跳起女团舞也不在话下。整个制作过程中，想到什么说什么就行，大模型都能自动拆解需求，瞬间get设计、修改思路。再也不怕老板甲方的想法太新奇。这样的文生数字人技术，来自百度智能云最新发布。该说不说，是要把数字人的使用门槛一口气砍没的节奏了。听闻如此神器，我们...

OpenAI正在秘密AB测试下一代模型，实力超强被怀疑是GPT4.5或GPT5。就在奥特曼当谜语人暗示之后，两款新模型悄悄上线大模型竞技场。Imagoodgpt2chatbotImalsoagoodgpt2chatbot和GPT4Turbo（左）同场竞技，gpt2chatbot（右）明显更胜一筹。提示词：画一个自由女神像。此前一款名为gpt2chatbot的超强模型仅仅上线一天，热情的网友就把服务器挤爆了，不得不下架，大家纷纷表示还没玩过。这次重新上线后，模型在一次报错中直接给出了...

最新国产开源MoE大模型，刚刚亮相就火了。DeepSeekV2性能达GPT4级别，但开源、可免费商用、API价格仅为GPT4Turbo的百分之一。因此一经发布，立马引发不小讨论。从公布的性能指标来看，DeepSeekV2的中文综合能力超越一众开源模型，并和GPT4Turbo、文心4.0等闭源模型同处第一梯队。英文综合能力也和LLaMA370B同处第一梯队，并且超过了同是MoE的Mixtral8x22B。在知识、数学、推理、编程等方面也表现出不错性能。并支持128K上下文。...

一种全新的神经网络架构KAN，诞生了！​与传统的MLP架构截然不同，且能用更少的参数在数学、物理问题上取得更高精度。比如，200个参数的KANs，就能复现DeepMind用30万参数的MLPs发现数学定理研究。不仅准确性更高，并且还发现了新的公式。要知道后者可是登上Nature封面的研究啊在函数拟合、偏微分方程求解，甚至处理凝聚态物理方面的任务都比MLP效果要好。而在大模型问题的解决上，KAN天然就能规避掉灾难性遗忘问题，并且注入人...

一支人大系大模型团队，前后与OpenAI进行了三次大撞车！第一次是与Clip，第二次是与GPT4V，最新一次撞在了Sora上：去年5月，他们联合并联合伯克利、港大等单位于在arXiv上发表了关于VDT的论文。那时候，该团队就在在技术架构上提出并采用了DiffusionTransformer。并且，VDT还在模型中引入统一的时空掩码建模。这个团队，正由中国人民大学高瓴人工智能学院教授卢志武带队。Sora问世已经两个多月，现在这支国产团队在视频生成领域...

“预测下一个token”被认为是大模型的基本范式，一次预测多个tokens又会怎样？MetaAI法国团队推出“基于多token预测的更快&更好大模型”。多token预测模型，在编程类任务上表现尤其突出。与单token预测相比，13B参数模型在HumanEval上多解决了12%的问题，在MBPP上多解决了17%。小型算法推理任务上，多token预测也在分布外泛化方面带来了令人印象深刻的收益。不过在自然语言任务上，多token预测方法并不能显著提高7B模型在数学选...

奥特曼斯坦福爆火演讲，完整版录像公开了！这还只是第一站，在哈佛和MIT再次发现了他的身影。特别是在哈佛，他还变相承认了神秘gpt2chatbot确实与OpenAI有关，但不是GPT4.5。事实上，我们可以同时在所有模型的行为和功能上取得进展，我认为这是个奇迹。他还提到“每个大学生都应该学会训练GPT2……这并不是最重要的事情，但我打赌两年后这是每个哈佛新生都必须做的事情”。难不成，就真的是GPT21.5BPlusProMaxQ威力加强年度典藏...

万万没想到，与任务无直接关联的多模态数据也能提升Transformer模型性能。比如训练一个图像分类模型，除了标注好类别的图像数据集，增加视频、音频、点云等模态数据，也能显著提升模型在图像分类上的性能。这样一来，在AI训练阶段就可以减少与特定任务直接相关的标注数据需求，可以节省大量成本，或在数据有限的任务上提供新解决思路。这个神奇的发现来自港中文MMLab和腾讯AILab的合作研究，相关论文已被CVPR2024接收，引起广泛...

AI做数学题，真正的思考居然是暗中“心算”的？纽约大学团队新研究发现，即使不让AI写步骤，全用无意义的“……”代替，在一些复杂任务上的表现也能大幅提升！一作JacabPfau表示：只要花费算力生成额外token就能带来优势，具体选择了什么token无关紧要。举例来说，让Llama34M回答一个简单问题：自然常数e的前6位数字中，有几个大于5的？AI直接回答约等于瞎捣乱，只统计前6位数字居然统计出7个来。让AI把验证每一数字的步骤写出...

啊？Sora火爆短片《气球人》，也“造假”了？？？背后艺术家团队的最新揭秘，可谓一石激起千层浪：原来，视频画面并非完全由AI生成，其中有大量视觉效果需要人类后期实现。belike：这下网友不干了，合着大家伙儿跟OpenAI玩真心，OpenAI背后却耍起心眼子来了：他们含糊其辞，就是希望观众认为短片完全是AI生成的，这是不是有点不诚实了啊。这不是人工智能生成的视频，而是使用了一些AI技术的视频。还有网友直接开喷：误导性营销...

视觉语言模型屡屡出现新突破，但ViT仍是图像编码器的首选网络结构。字节提出新基础模型——ViTamin，专为视觉语言时代设计。在使用相同的数据集和训练方案时，ViTamin在ImageNet零样本准确率上比ViT提高了2.0%。此外在分类、检索、开放词汇检测和分割、多模态大语言模型等60个不同基准上都表现出了良好的结果。当进一步扩展参数规模时，ViTaminXL仅有436M参数，却达到了82.9%的ImageNet零样本准确率，超过了拥有十倍参数（4.4B...

大模型力大砖飞，让LLaMA3演绎出了新高度：超15TToken数据上的超大规模预训练，既实现了令人印象深刻的性能提升，也因远超Chinchilla推荐量再次引爆开源社区讨论。与此同时，在实际应用层面上，另一个热点话题也浮出水面：资源有限场景下，LLaMA3的量化表现又会如何？香港大学、北京航空航天大学、苏黎世联邦理工学院联合推出了一项实证研究，全面揭示了LLaMA3的低比特量化性能。研究人员使用现有的10种训练后量化和LoRA微调方...

关于Llama3，又有测试结果新鲜出炉——大模型评测社区LMSYS发布了一份大模型排行榜单，Llama3位列第五，英文单项与GPT4并列第一。不同于其他Benchmark，这份榜单的依据是模型一对一battle，由全网测评者自行命题并打分。最终，Llama3取得了榜单中的第五名，排在前面的是GPT4的三个不同版本，以及Claude3超大杯Opus。而在英文单项榜单中，Llama3反超了Claude，与GPT4打成了平手。对于这一结果，Meta的首席科学家LeCun十分高兴，...

2024最wow的AI生图工具出现了！对“青春纪念手册”下手，你就说这味儿正不正宗：不信谁没有，谁也别说谁。别着急，下一秒“啪”的一下：……什么情况？这，就是最近摄影圈不少人都在玩的AI修图神器——超能画布。据说只需一句提示词就能分分钟修出创意大片，无需事先上传多张图训练专属模型，打开直接上传一张图随便P。最近它还快速迭代升级了一波产品，圈子里更热闹了。有网友试过后直呼内行，毕竟用它来应对顾客的奇葩需求简...