AI.x社区

论文笔记，LongRoPE2:NearLosslessLLMContextWindowScaling，https:arxiv.orgpdf2502.20082。longropev1的升级工作，应对长度外推的。longropev1简单回顾，核心思想是非均匀插值+渐进式微调：对比NTK、YaRN之类的插值方式，LongROPE的每个频率都有自己的缩放因子。所以先进行基于困惑度的进化搜索，得到每个rope维度的最佳缩放因子。在应用当前阶段的RescaledRoPE后，对模型进行微调，让模型权重适应新的上下文窗口大小和位置编...

在当今数字化转型的时代，大型语言模型（LLMs）已经成为了不可或缺的工具，它们在自然语言理解、生成和推理方面展现了非凡的能力。然而，这些模型普遍采用的是“一刀切”的方式，即对于相同的输入给予所有用户相似的响应。这种方式虽然能够满足大多数情况下的需求，但在需要根据个人偏好定制内容的情境下就显得力不从心了。为了解决这个问题，来自中国人民大学高瓴人工智能学院与百度公司的研究团队提出了一种名为PPlug的新颖个...

记得小时候，每次想修改一张图片都要打开复杂的Photoshop，各种工具、图层、蒙版，简直让人头晕目眩。但现在，OpenAI的DALLE编辑器彻底改变了这一切！只需简单的文字描述，你的图片就能焕然一新！该工具的使用方式主要分为两种：一种是通过高亮图片的特定部分并给出具体指令进行局部修改；另一种则是在聊天侧边栏输入指令，实现对整体图像的修改。了解DALL·E编辑器界面用户可以通过单击DALL·E生成的图像来访问DALL·E编辑器界...

1.PersonalizedGraphBasedRetrievalforLargeLanguageModels随着大语言模型（LLMs）的演进，它们提供个性化和上下文相关响应的能力具有改变用户体验的潜力。然而，现有的个性化方法通常仅依赖用户历史来增强提示，这在冷启动场景或数据稀疏的情况下限制了其有效性。为了克服这些限制，我们提出了一种基于图的个性化检索增强生成（PGraphRAG）框架，该框架利用用户中心的知识图来丰富个性化。通过直接将结构化的用户知识融入检索...

苹果的研究人员推出了一种创新模型ReALM，可将参考解析问题转化为语言建模问题，能极大提升AI助手处理很多描述复杂或模糊不清的内容。例如，我们网购时选好了橘子、鸭梨、苹果、橘子汽水、洗发水、短袖、拖鞋等物品，然后告诉AI助手只结算水果。这时传统的AI助手可能会将橘子和橘子汽水混淆进行一起结算。而ReALM模型会重建手机或者PC等平台上的屏幕关键信息，并将其转化成一种可理解的文本，再用大语言模型去解读用户的需求，...

文章链接：https:arxiv.orgpdf2407.17911git链接：https:alberthkyhky.github.ioReCorD亮点直击：引入了一种新颖的推理框架，将潜在扩散模型（LDM）与视觉语言模型（VLM）相结合，以克服生成逼真的人与物体互动（HOI）时面临的挑战，缓解了以往方法中的问题，例如大语言模型（LLM）对简单文本提示的过度分析以及LDM中的训练数据偏差。为了提升人物形象描绘的准确性，在LDM中设计了一个校正机制，用于动态图像调整，使得对生成图...

FlashFace技术是由香港大学、阿里巴巴集团、蚂蚁集团共同研发的一项实用工具，用户可以通过提供一张或几张参考面部图像和文本提示，就可以轻松地即时个性化自己的相片。与现有的人像定制方法相比，FlashFace方法具有更高保真度的身份保留性。能够精确地保留参考人脸的特征，包括纹身、疤痕等。这意味着，无论是真实人物还是虚拟角色，FlashFace都能够准确地捕捉到他们独特的面部特征，如罕见的脸型等。下面展示一些FlashFace的...

千呼万唤，苹果如何用AI重塑iPhone，答案终于揭晓！各种令人闻之激动的传闻，通通都是真的——确定和OpenAI达成合作，接入ChatGPT，使用GPT4o模型。Siri完成重生，iPhone人机交互模式重构，手机智能助手代劳一切近在咫尺。AppleIntelligence，就此要成为AI的全新代名词了。发布一结束，WWDC24立马冲进热搜前三。网友们都在感慨苹果这逆天的整合能力，各种AI新功能通通满足大家想象力。还有人说，这回骂早了……简单总结，这场发...

DALL·E2是由AdityaRamesh和OpenAI的合著者们开发的一种文本到图像生成系统。当系统接收到一个标题时，它会尝试从头开始生成一幅与之匹配的新颖图像。它还具备以下额外功能：修复：使用语言对图像进行编辑；变异（图1）：生成新图像，这些图像与给定参考图像具有相同的本质，但在细节的组合方式上有所不同；文本差异（图4）：使用语言转换图像的任何方面。图1：雷·潘在黑板涂鸦上的DALL·E2变异。中间是原始涂鸦，周围显示生成...

微软亚洲研究院、清华大学、北京大学、利物浦大学联合推出功能强大的定制多语言文本编码器GlyphByT5v2和功能强大的美观图形生成模型GlyphSDXLv2，它们可以支持10种不同语言的准确拼写。考虑到最新的DALLE3和Ideogram仍然难以完成多语言视觉文本渲染任务，该工作是一项重大进步。GlyphByT5v2+GlyphSDXLv2效果展示GlyphByT5v2+GlyphSDXLv2方法进行多语言视觉文本渲染的结果。分别在第1行、第2行、第3行、第4行和第5行展示了法语、...

快手的Chang等人于2023年在论文《PEPNet:ParameterandEmbeddingPersonalizedNetworkforInfusingwithPersonalizedPriorInformation》中正式提出了PEPNet模型，用于建模推荐系统中的多任务多领域问题。本文将从PEPNet模型提出的动机、问题建模、模型结构及工程优化策略方面进行详细的阐述。1.PEPNet模型的提出动机（1）多任务学习：出发点是不同的任务之间存在稀疏性和依赖性。但由于不同任务具有独特的稀疏性和相互影响，很难在...

作者丨DavidEastman编译丨诺亚出品51CTO技术栈（微信号：blog51cto）尽管没有任何大型语言模型（LLM）骑过自行车，但它们显然理解骑行在人类交通领域中的作用。它们似乎为软件开发者提供的是一种类似语义的现实世界知识，结合了对技术世界的理解。我们在最近的一篇文章中清楚地看到了这一点，仅通过用自然语言描述，我们就能够生成一个简单的图书出版SQL架构。虽然我对Llama3创建架构的性能感到满意，但我之前在Oracle工作时期...

谷歌Deepmind在官网推出了视频转音频模型V2A。用户可以用视频+文本提示的方式，通过V2A为视频模型自动匹配语音。例如，为紧张、恐怖、惊悚的片段自动匹配语音，可以进一步节省制作时间和提高效率。同时可以与谷歌的视频模型Veo相结合使用。目前，Sora、可灵、Gen3、DreamMachine等知名模型生成的视频没有任何声音，用户如果想使用这些视频还需要二次加工配音。但在嘴型、音轨匹配方面就比较麻烦，而V2A可以生成无限数量的音轨，...

腾讯PCGARC实验室和上海科技大学的研究人员联合开源了创新模型——InstantMesh。用户通过InstantMesh上传一张图片，只需要十秒的时间就能将图片变成360度全视角的3D模型。并且可以下载模型将其放在3DMax、玛雅等专业软件中，以简化游戏、广告、家居、虚拟现实等开发流程。研究人员在公开数据集GoogleScannedObjects、OmniObject3D等InstantMesh进行了综合测试。结果显示，其生成的3D模型在视觉质量和几何精度上都显著优于现有最...

3D生成也有自个儿的人工评测竞技场了～来自复旦大学和上海AIlab的研究人员搞了个3DGenArena，和大语言模型的ChatbotArena、GenAIArena等一脉相承，要让大伙儿对3D生成模型来一场公开、匿名的评测。3DGenArena同样是让两个模型进行比较，分文生3D、图生3D两个赛道。展示形式上考虑到3D生成的复杂性，3DGenArena同时提供3D资产的法线图、无纹理几何图和贴纹理RGB图的360°环绕视频。第一步点击“Sample”选择prompt（共有1000+条...

近日，大模型系统组织发布旗下大模型竞技场全面测评结果，Llama370B成开源模型中性能最强的模型，而未发布的Llama3400B着实令人期待！PyTorch创始人SoumithChintala感叹这几乎是不可能完成的任务！以下是译文：Llama370B已经稳居第五位。接下来还有405B...我还记得2023年三月GPT4发布时，看起来几乎不可能达到相同的性能。从那时起，我看到AhmadAlDahle和MetaAI的其他成员经历了一段混乱的崛起，专注于工作，每周工作100多个小...

编辑伊风出品51CTO技术栈（微信号：blog51cto）OpenAI的离职潮还风波未平。另一边，ChatGPT语音模式中的“Sky”突然被宣布下架。OpenAI在推文中说：我们听到有人质疑我们如何选择ChatGPT中的声音，尤其是Sky。我们正在努力暂停Sky的使用，同时解决这些问题。消息一经发出，X上的网友顿时哀嚎一片，甚至威胁将投奔谷歌的产品。图片这都因为Sky是最好的、最性感的、最像斯嘉丽·约翰逊所饰演的《Her》的音色——这也正是Sky引起争...

如果我不说明这是一段GPT4o调戏主持人的视频，你是否会认为电话另一端是真人在对话？GPT4o在与人类的对话过程中，不仅能理解人的情绪，还能像人一样说话。总结来说，GPT4o具有下列语音能力：具有丰富的语音风格：语速快一点、语调柔和一点、或者用说唱的风格；可以理解语音以外的信息：喘气声、叹气声；可以发出非语言声音：笑声；可以进行自然而即时的互动，不需要唤醒词。​其实，早在GPT4o以前，GPT3.5手机版就有语音功能，...

这篇论文提出了一种新的联邦推荐算法FedRAP。FedRAP在联邦学习框架中同时针对用户信息和项目信息实施双边个性化策略，以此来增强推荐系统在隐私保护和个性化推荐方面的表现。它通过逐步提高正则化权重，平滑地从全面个性化过渡到加性个性化。同时，FedRAP还引入了对全局项目嵌入进行稀疏化处理的策略，有效降低了通信开销。论文标题：FederatedRecommendationwithAdditivePersonalization论文链接：​​https:arxiv.orgabs2301....

啥？新版GPT4是在Q的输出上微调的？在竞技场重回榜一的新版GPT4Turbo，成功再次踩中大家嗨点。它此次的性能提升体现在数学、推理、代码上，而且输出内容废话更少。最让大家感到兴奋的是其数学推理能力，现在可以在一些问题上完胜其他大模型。比如“求yx^45x^2x+4和yx^23x交点的y坐标之和。”只有最新版GPT4Turbo能测出来。这条推特被公开承认自己参与过Q的LukaszKaiser转发。NoamBrown也发推表示新版GPT4Turbo在推理能力上大幅...