AI.x社区

1.LanceDB介绍LanceDB是一个开源的用Rust实现的向量数据库（https:github.comlancedblancedb），它的主要特点是：提供单机服务，可以直接嵌入到应用程序中支持多种向量索引算法，包括Flat、HNSW、IVF等。支持全文检索，包括BM25、TFIDF等。支持多种向量相似度算法，包括Cosine、L2等。与Arrow生态系统紧密集成，允许通过SIMD和GPU加速在共享内存中实现真正的零拷贝访问。2.LanceDB安装pipinstalllancedb预览版本：pipinstallpre...

继ChatGPT后，OpenAI又在文生视频的领域中扔下了一颗深水炸弹，引爆了海内外AI圈。2月16日，OpenAI的文字生成视频模型——Sora首次面世。据介绍，Sora可以根据所输入的prompt，直接输出最高长达60秒的视频，并且包含高度细致的背景、复杂的多角度镜头，以及富有情感的多个角色。在OpenAI创始人阿尔特曼的社交网站上，其也放出了Sora生成的视频，如下便是以“Abicycleraceonoceanwithdifferentanimalsasathletesridingthebicycle...

自ChatGPT引领人工智能的新潮流以来，我们见证了大型语言模型（LLM）与私有数据结合的巨大潜力。这种结合不仅催生了功能强大的AI应用，也标志着AI专业能力的提升。然而，随着深入探究，我们发现传统的文本嵌入检索技术（Text2VecRAG）在处理知识库问答时仍存在局限。本文阐述如何通过图形RAG技术，有效填补这一空白，实现对知识库的深入挖掘和全面理解。1局部和全局问题文本嵌入检索技术让LLM应用能够稳定地根据知识库内容回答...

一、背景电商供应链的系统建设一般偏向于数据管理类型，但此类系统建设有一个很明显的问题就是前后端开发的沟通成本较高（相对研发成本而言），特别是一些简单加减字段的诉求沟通成本甚至达到50%以上，如何将这部分沟通成本降低下来，并保证高质量的交付成为目前亟待解决的问题。经过对需求和系统页面进行分析，我们得出如下数据：供应链≤2人日的需求投入工时占接近50%，两周的迭代周期，一个前端甚至能接到10+需求，时间碎片...

随便一张立绘都能生成游戏角色，任意IP快速三维化有新招了！来自清华大学和VAST的研究人员联合推出了CharacterGen——一种三维风格化人物生成框架。具体而言，CharacterGen采用两阶段生成模式，可在1分钟内从单图生成高质量的标准姿态三维人体。目前相关论文已入选计算机图形学顶会SIGGRAPH2024，且在社区引发了热烈讨论。CharacterGen开源后，已有玩家第一时间将其纳入了ComfyUI3D工作流。网友们搓手表示：迫不及待看到构建3D...

论文链接：https:arxiv.orgpdf2502.07785项目链接：https:yashkant.github.iopippo亮点直击一种生成模型：能够从单张图像生成高分辨率和多视角一致的人体，并提出了有效的训练策略。一种扩散Transformer架构：专为增强多视角生成和视角控制而设计。一种注意力偏置技术：能够在推理时生成比训练时多5倍以上的视角。一种新颖的3D一致性指标：用于准确衡量生成任务中的3D一致性水平。总结速览解决的问题高质量多视角数据获取成本高...

文章：https:arxiv.orgpdf2404.15141代码：https:github.comlmbxmuCutDiffusion将大预训练的低分辨率扩散模型转换以满足更高分辨率需求，即扩散外推，显著提高了扩散适应性。本文提出了无调优的CutDiffusion，旨在简化和加速扩散外推过程，使其更具成本效益并提高性能。CutDiffusion遵循现有的基于patch的外推方法，但将标准的patch扩散过程分为一个初步阶段，专注于全面的结构去噪，以及一个后续阶段，专注于特定细节的改进。...

文章链接：https:arxiv.orgpdf2406.16815项目地址：https:ggxxii.github.ioclothedreamer高保真度的基于文本的3D服装合成对于数字化人物创建是可取的，但也具有挑战性。最近基于扩散的方法，通过评分蒸馏抽样（SDS）实现了新的可能性，但要么与人体紧密耦合，要么难以重复使用。本文引入了ClotheDreamer，这是一种基于3D高斯的方法，用于从文本提示生成可穿戴的、适合生产的3D服装资产。本文提出了一种新颖的表示方法，称为解耦...

著名文生图片平台Midjourney正式发布了V6.1版本，本次对生成内容的细节、连贯性、图片质量、个性化等进行了大量更新，再一次成为行业标杆。细节则成为本次的重点，对之前经常出现问题的眼睛、睫毛、瞳孔、腿、手臂、手指关节、表情神态等进行了纠正，在生成质量和文本语义还原方面更好。「AIGC开放社区」将结合V6.1生成的图片，为大家解读一下本次更新的主要内容。图片连贯性改进：在生成复杂内容，例如，手臂、毛发、腿、手、...

6月6日，著名开源大模型平台Stability.ai在官网宣布，开源最新文生音频模型StableAudioOpen。用户通过文本就能生成最多47秒，钢琴、笛子、鼓点、模拟人声等不同类型的44.1kHz音效。值得一提的是，StableAudioOpen支持数据微调，歌手、音乐人可以让其生成基于自己的音乐数据，例如，架子鼓手可以根据自己的鼓点来进行微调。开源地址：https:huggingface.costabilityaistableaudioopen1.0在线demo：https:huggingface.cospacesart...

大家好，我是刘聪NLP。大模型已经展现出了较强的文本生成能力，但随着使用场景变得越加复杂和严格，除了避免生成误导或不当言论内容外，往往还希望可以满足用户的特殊需求。而可控文本生成就是为了在保持文本生成有用性、流畅性和多样性的同时，保证文本符合预定的控制条件，例如安全性、主题一致性、语言风格等。今天给大家带来一篇综述，介绍大模型可控文本生成（ControllableTextGeneration,CTG）的相关技术。Paper:https:ar...

作者BenDickson编译沈建苗出品51CTO技术栈（微信号：blog51cto）近日，麻省理工学院（MIT）的研究人员已开发出一种名为自适应语言模型（SEAL）的框架，使大语言模型（LLM）能够通过更新自身的内部参数来持续学习和适应。SEAL可以教LLM生成自己的训练数据并更新指令，让LLM能够永久吸收新知识并学习新任务。这种框架特别适用于企业应用环境，尤其适用于在动态环境中运行的AI智能体，它们必须不断处理新信息并调整其行为。1.LLM的...

文章链接:https:arxiv.orgpdf2411.02319项目链接：https:genxd.github.io亮点直击设计了一个数据整理流程，从视频中获取包含可移动物体的高质量4D数据，并为30,000个视频标注了相机姿态。这个大规模数据集称为CamVid30K，将公开供公众使用。提出了一个3D4D联合框架GenXD，支持各种设置下的图像条件3D和4D生成（见下表1）。在GenXD中，引入了多视角时序层，以解耦和融合多视角和时序信息。通过使用提出的CamVid30K和其他现有的3D...

文章链接：https:arxiv.orgpdf2407.06191github链接：https:tailor3d2024.github.ioHuggingface:https:huggingface.cospacesalexzyqiTailor3D亮点直击：提出了Tailor3D，一种快速的3D编辑pipeline。通过结合2D图像编辑和快速3D重建技术，它显著提高了3D对象编辑的效率。双面LRM结合了LoRATriplaneTransformer，有效处理了前后视图之间的不一致性，提升了整体重建质量。Tailor3D在各种3D编辑和定制任务中表现出色，特别是在局部3...

嘉宾欧迪佐编辑李美涵出品51CTO技术栈（微信号：blog51cto）本文整理自快手高级技术专家欧迪佐在WOT2024大会上的主题分享，更多精彩内容及现场PPT，请关注51CTO技术栈公众号，发送【WOT】即可直接领取。日前，在51CTO主办的WOT全球技术创新大会上，快手高级技术专家欧迪佐带来了主题演讲《LLMbasedAgent在B端商业化的技术探索与实践》，围绕着B端商业化的业务场景，详细介绍了构建Agent技术平台的实践经验与深入思考，为观众呈...

如今我们身处内容生产的3.0时代，有了AI技术的加持，内容生产的形式或者门槛进一步拉低，将有望重塑整个内容生产的态势。因此，当视频和AI相结合的时候，会有一个什么样的发展动向，这是我们需要思考的一个问题。传统的视频内容生产的形式，主要分为这四个环节：视频创意、视频脚本、视频素材、视频剪辑。那么，在整个视频的生产链路中，AI能在哪个环节去做助力或改造呢？两年前我们开始研发“度加”产品，它的定位是做一个一站...

文章链接：https:arxiv.orgpdf2409.12193gitbub链接：https:github.comflorinshenVista3D亮点直击提出了Vista3D，一个用于揭示单张图像3Ddarkside的框架，能够高效地利用2D先验生成多样的3D物体。开发了一种从高斯投影到等值面3D表示的转换方法，通过可微等值面方法和解耦纹理来优化粗糙几何，实现纹理化网格的创建。提出了一种角度组合方法用于扩散先验，通过约束其梯度幅度，在不牺牲3D一致性的情况下实现3D潜力的多样性。总...

捏脸玩法是装扮类应用的一个核心功能。本文主要介绍了捏脸的AI相关玩法之一即基于用户上传的照片在淘宝人生2（又名：第二人生）一键生成专属3D数字人，阐述了淘天FC淘宝人生技术团队在图片捏脸上探索的心路历程，核心原理以及技术框架。本文的视角也不局限于图片捏脸本身，也介绍了其他AI类相关玩法在装扮类应用落地的情况，希望能对大家有所启发和帮助。一、背景淘宝人生是国内用户规模较大的装扮类应用之一，在淘宝中扮演了用...

开视频远程会议的时候，很多人都不喜欢打开摄像头。即使开了，在界面上大家也都被框在不同的窗口里。虽然这种形式操作起来很方便，但总是缺乏点临场感。最近，谷歌提出了一项研究旨在解决这个问题，这个名叫ChatDirector的技术可以使用静态的2D头像生成3D虚拟人，让大家一同「坐在会议室里」开会，只是看起来样子有点夸张：ChatDirector通过空间化视频头像、虚拟环境和自动布局转换，构建了一个拟真的虚拟环境。虽说只是早期研...

最近AI圈最火的无疑是OpenAI在2月15日发布的Sora。Sora可以根据文本生成一分钟的高清视频，生成的视频画质、连续性、光影等都令人叹为观止，Sora无疑将视觉生成推到新的高度。本文将重点回答三个问题：Sora的原理是什么？Sora到底是不是世界模型？Sora会影响哪些行业？一、背景在国内外大多数AI厂商还在卷大语言模型之际，OpenAI悄无声息地发布了文生视频（texttovideo，简称t2v）模型Sora[1]，仅仅几个视频demo，就让整个AI圈...