AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
入门必读！多模态大语言模型的演变全回顾！（视觉定位、图像生成、编辑、理解）
精华文章链接：https:arxiv.orgabs2402.12451连接文本和视觉模态在生成式AI中起着至关重要的作用。受到大语言模型（本文简称LLM）成功的启发，人们正在致力于开发多模态大语言模型（MLLMs）。这些模型可以无缝地集成视觉和文本模态，既作为输入又作为输出，同时提供基于对话的界面和指令遵循的能力。本文全面回顾了最近基于视觉的MLLMs，分析了它们的架构选择、多模态对齐策略和训练技术。还对这些模型在各种任务上进行了详细分析，...图像生成模型港科大新SOTA丨大语言模型在通用视觉定位中的能力（LLM-Optic）
原创摘要：视觉定位是将用户提供的文本查询与图像中特定区域链接起来的基本工具。尽管视觉定位模型取得了一定进展，但它们在理解复杂查询方面的能力仍然有限。为了解决这一限制，我们引入了LLMOptic，这是一种创新方法，利用大型语言模型（LLM）作为光学透镜来增强现有视觉定位模型对涉及复杂文本结构、多对象或对象空间关系的复杂文本查询的理解能力——这些情况是当前模型难以应对的。LLMOptic首先使用LLM作为文本定位器来解释...大模型视觉AI2惊艳发布OneDiffusion：突破性大规模扩散模型，支持多任务生成与理解，重塑视觉AI应用
精华文章链接：https:arxiv.orgpdf2411.16318项目链接：https:github.comlehduongOneDiffusion亮点直击统一的多任务能力：OneDiffusion提出了一个统一的扩散模型，能够无缝支持图像合成和理解的双向任务。它通过简单灵活的框架，实现了多种任务（如文本到图像生成、深度估计、多视角生成等）的处理，而无需依赖外部模块或额外损失函数。创新的训练方法：OneDiffusion采用了基于序列数据的训练方法，将所有任务视为不同噪声级别的帧...图像生成模型机器学习有哪些类型？ 监督学习、无监督学习、强化学习、深度学习等等！
机器学习是人工智能的一个重要分支，它使计算机能够通过数据学习并做出决策或预测，而不是通过明确的编程指令。主要的机器学习类型包括：1、监督学习（SupervisedLearning）：定义：在这种类型中，算法从标记的训练数据中学习，即每个样本都有一个对应的标签或结果。监督学习的目标是训练出一个模型，能够对新的、未见过的数据进行准确的预测或分类。就像学生通过例子学习，监督学习算法通过分析带有答案的练习题来学习。它的目...机器学习监督学习强化学习电子科大、同济大学、新加坡国立大学等发表的Math-LLaVA：引导多模态大语言模型的数学推理能力
一、结论写在前面下面介绍的论文来自：电子科技大学、新加坡科技设计大学、同济大学、新加坡国立大学。论文标题：MathLLaVA:BootstrappingMathematicalReasoningforMultimodalLargeLanguageModels论文链接：https:arxiv.orgpdf2406.17294代码和数据：https:github.comHZQ950419MathLLaVA。LLMs在文本数学问题解决方面展示了令人印象深刻的推理能力。然而，现有的开源图像指令微调数据集，每个图像包含有限的问...LLaVA语言模型大规模相似性搜索：原理、技术与 Faiss 实践
相似性搜索为何重要？人工智能和机器学习的兴起，催生了大量高维数据表示形式，即嵌入（embeddings），它们捕捉数据点之间的复杂关系，助力强大的分析与理解。然而，在大型数据集中查找相似嵌入是一项计算密集型任务。相似性搜索在检索增强生成（RetrievalAugmentedGeneration，RAG）领域引发了变革。RAG将传统信息检索与语言模型相结合，通过利用相似性搜索查找相关文档，使模型能访问更广泛的知识库，生成更具信息量和上下文...技术FaissIVFPQ颠覆传统搜索方式！向量相似性与图数据库的强强联合
原创 精华01、概述在传统的数据库搜索中，我们更像是在翻阅一份电话簿——你可以查找“拥有红色头发的人”或“谁的车是蓝色的”。但问题是，这种方式虽然高效，却非常局限。如今，向量相似性搜索（VectorSimilaritySearch）改变了游戏规则，它不再仅仅依赖关键词，而是让我们可以问：“哪些东西与这个最相似？”——它能够挖掘语义上的相似性，找到那些隐藏的联系。但仅仅找到相似的事物还不够。现实世界的复杂性不仅仅是单个数据点的问...人工智能AI图数据库连环画创作源泉！港科大、腾讯等开源SEED-Story：开创性多模态长故事生成！
精华文章链接：https:arxiv.orgpdf2407.08683github链接：https:github.comTencentARCSEEDStory亮点直击SEEDStory，一种利用多模态大语言模型（MLLM）生成具有丰富叙述性文本和上下文相关图像的多模态故事的新方法。提出了多模态注意力汇聚机制，以高效生成长度大于训练时使用的序列长度的长故事。引入了StoryStream，这是一个专门为训练和基准测试多模态故事生成而设计的大规模数据集。随着图像生成和开放形式文本生成的显著进步，...大语言模型生成RAG与本地知识库，向量数据库，以及知识图谱的联系与区别
原创“RAG的本质是高效检索，而知识库，向量数据库和知识图谱只是组织数据的一种形式”这两天在之前的一篇关于RAG检索增强的文章中有一个评论，问RAG和知识图谱的区别；这时才发现，原来很多人对RAG技术还没有一个本质的认识，以及与其相关的本地知识库，向量数据库等。所以，今天就来介绍一下上面的这些概念，以及其联系与区别。RAG——检索增强生成前面写过好几篇关于RAG的文章，但可能到现在很多人还不明白什么是RAG——检索增...RAG知识图谱向量数据库机器学习有哪些类型？ 监督学习、无监督学习、强化学习、深度学习等等
机器学习是人工智能的一个重要分支，它使计算机能够通过数据学习并做出决策或预测，而不是通过明确的编程指令。主要的机器学习类型包括：1、监督学习（SupervisedLearning）：定义：在这种类型中，算法从标记的训练数据中学习，即每个样本都有一个对应的标签或结果。监督学习的目标是训练出一个模型，能够对新的、未见过的数据进行准确的预测或分类。就像学生通过例子学习，监督学习算法通过分析带有答案的练习题来学习。它的目...机器学习对偶学习什么是知识图谱和AI多模态推理
原创 精华大模型与知识图谱结合，构建企业智能知识管理平台，为解决上述难题提供了新的思路：大模型技术能够从海量数据中提取复杂信息，具备学习和推理能力，而知识图谱则通过图形结构，将知识进行有机整合，展示出实体之间的关系和语义信息。两个技术的结合，将实现更加便捷的知识管理、更加精准的智能问答、以及更加可靠的智能决策与分析。一、知识图谱推理知识图谱是一种结构化的知识库，它以图的形式表示和存储现实世界中的实体、概...多模态知识图谱MTBench：用于金融时序推理和回答的多模态时间序列基准
“MTBench:AMultimodalTimeSeriesBenchmarkforTemporalReasoningandQuestionAnswering”时间序列与文本数据的结合对理解复杂现实现象至关重要，尤其在金融和天气预测领域。现有基准缺乏对时间序列数据与文本之间复杂关联的关注，未能处理文本与时间序列数据矛盾的情况。本文提出MTBench基准，旨在评估LLMs在金融和天气领域的多任务和多模态推理能力。MTBench通过将时间序列数据与相关文本信息对齐，促进跨模态互动，支持复杂推...金融时序多模态时间序列2024年人工智能进展：10大开创性研究亮点
精华随着人工智能技术的飞速发展，2024年的研究者们在多个领域取得了重大突破。这些研究成果不仅提高了AI的效率和性能，还扩展了AI的应用范围，使其能够更好地理解和创造内容，为各行各业带来了革命性的变化。在本文中，我们深入研究了十篇开创性的研究论文，这些论文在包括大语言模型、多模态处理、视频生成与编辑以及交互式环境创建等不同领域拓展了人工智能的前沿。这些研究由Meta、谷歌DeepMind、StabilityAI、Anthropic和微软...人工智能Anthropic智能15种先进的检索增强生成（RAG）技术
原创一、现状在AI领域，从原型到生产的过程极具挑战。构建大型语言模型（LLM）、小型语言模型（SLM）或多模态应用虽令人激动，但将其转化为可扩展、可靠的生产系统，需深入理解其复杂性。这不仅仅是硬件扩展或算法优化的问题，而是涉及数据、模型架构与应用需求之间关系的深入探究。二、15种RAG技术在本文中，我们将深入探讨15种先进的检索增强生成（RAG）技术，这些技术能够帮助您将AI原型转化为生产级别的强大解决方案。这些技术...RAG谷歌提出大规模ICL方法——强化和无监督
大语言模型在自然语言处理任务中取得了显著的突破，尤其是是在少样本学习和上下文学习（incontextlearning，简称“ICL”）方面。虽然在少样本学习中表现出色，但无法探索更大规模的上下文学习潜力。随着大模型上下文窗口的大幅度增长，例如，谷歌的Gemini1.5Pro模型支持100万tokens上下文，使得研究人员有机会探索更多的ICL示例，以增强大模型的学习和输出能力。谷歌Deepmind的研究人员提出了强化和无监督两种ICL学习方法，可显...模型谷歌人工智能进入 “下半场”，未来将走向何方？
精华在科技飞速发展的今天，人工智能（AI）已经成为大家耳熟能详的词汇。从手机里能陪你聊天的智能语音助手，到能自动识别照片内容的图像软件，AI的身影无处不在。不过，你知道吗？AI的发展正迎来一个关键转折点，就像一场比赛进入了下半场。今天，就让我们一起深入了解AI的这场“下半场”变革。一、AI上半场：模型与方法的狂欢（一）辉煌成就：打败人类冠军，通过各类考试过去几十年，AI取得了不少令人惊叹的成绩。在棋盘上，AI化...人工智能AI游戏阿里 HPN：针对大规模 LLM 训练的万卡集群
一、背景之前的文章中我们具体介绍了万卡GPU集群中的网络拓扑以及在万卡GPU集群中进行大规模LLM训练面对的挑战和解决方案；也进一步介绍了阿里云的集合通信调度框架C4和C4底层的阿里云新一代智算集群网络架构HPN7.0。不过上述HPN7.0的相关介绍都是基于阿里官网或者之前的公开分享，最近阿里正式公布了HPN相应的Paper，与我们之前了解到的稍有不同，此处进行相应补充。有关双上联、双平面介绍这里不再赘述。对应的论文：http...HPNLLM训练如果老板让你基于大模型搭建一个系统，怎么选择一个适合自己任务的大模型？选择大模型需要考虑哪些问题？
原创“怎么选择和测试一款大模型，是一个需要思考的问题”到今天为止，市面上的大模型没有一万也有三千；如果算上那些学习使用的大模型，可能几十万都不止。但对企业来说，要想构建一个企业级的AI应用，最好的选择就是使用第三方大模型或者使用开源大模型，那么在如此多的模型中，怎么选择一个适合自己任务的大模型呢？个人开发的人工智能聊天小程序，感兴趣的可以点击查看：01、为什么要选择模型？这两年市面上的模型如雨后春笋般...大模型守护生成式人工智能之门，规避人工智能进化中的安全挑战
原创生成式人工智能(GenAI)代表了人工智能的一个重大飞跃，能够创建文本、音频、图像、代码等新颖而逼真的数据。虽然这项创新具有巨大的潜力，但它也引发了人们对数据安全和隐私的严重担忧。本文深入探讨了生成式人工智的技术能力及其对数据安全的影响，潜在的漏洞和缓解策略，以及为确保负责任和合乎道德的发展而进行合作的必要性。揭示生成式人工智能的能力生成式人工智能包含一系列技术，包括深度学习模型，可以从现有数据中学习...人工智能GenAI数据安全LLaMA 3 背后的大规模 GPU 集群 RoCE 网络建设
精华一、背景模型越来越大，需要的GPU越来越多；与此同时GPU性能也在不断增强，配套的网络带宽也不断增加到400G（BlackwellGPU甚至需要到800Gbps）。Ranking模型还在迁移到GPU的早期阶段，但使用GPU的规模也在不断增加；而LLM通常需要使用更大规模GPU。在构建这种规模的网络的同时保持高性能GPU间通信很有挑战。Meta在其LLaMA3技术报告中简单提到用于训练LLaMA3的大规模GPU集群，不过在报告中并没有详细介绍其集群的构成以及相应的...LLaMA 3GPU集群
