多模态大语言模型：从视觉故事到技术核心 原创 精华

在人工智能的世界里，多模态大语言模型（Multimodal Large Language Models，简称MLLMs）正以前所未有的速度改变着游戏规则。这些模型不仅能理解文字，还能“看懂”图片、视频，甚至“听懂”声音，仿佛拥有了人类的多种感官。从谷歌最新的Veo 3生成令人惊叹的视频，到ElevenLabs创造出几乎以假乱真的AI配音，这些曾经只存在于科幻小说中的场景，如今正一步步走进现实。

今天，我们就来深入探索多模态大语言模型背后的奥秘。这篇文章是系列的第一部分，我们将重点探讨多模态模型的视觉故事，看看它们是如何“看”世界的。第二部分，我们会深入研究这些模型是如何生成多模态内容的，以及它们在各个行业中的实际应用。

一、多模态的挑战

多模态听起来很酷，但实现起来却并不容易。当我们试图让模型同时处理多种模态（比如文字、图片、音频等）时，就会遇到不少难题。

（一）如何表示信息？

想象一下，你手里有一张猫的图片、一段描述猫的文字，还有一段猫的叫声。这些看似不同的东西，其实都代表着同一个概念——“猫”。但问题是，我们该如何把这些不同模态的信息表示成一种统一的形式，让模型能够理解和学习呢？这就像是要把各种形状不规则的积木拼在一起，还得让它们严丝合缝。

（二）如何对齐不同模态？

即使我们能把这些信息表示出来，还有一个问题：怎样才能让不同模态之间建立起直接的关系呢？比如，图片中的猫和文字里提到的猫，它们之间得有明确的对应关系，模型才能明白它们说的是同一个东西。

这就涉及两种方法：

1. 显式对齐（Explicit Alignment）：这种方法就像是给模型画了一张详细的地图，直接告诉它不同模态之间的对应关系。比如，我们可以用动态时间规整（Dynamic Time Warping，简称DTW）算法，或者在注意力机制中加入监督信号，甚至用对齐矩阵来实现。不过，这种方法需要大量的标注数据，成本比较高。
2. 隐式对齐（Implicit Alignment）：这种方法更聪明一些，它让模型自己去学习不同模态之间的关系。比如，自注意力机制（Self-Attention）、对比学习（Contrastive Learning）或者协同注意力机制（Co-Attention Mechanisms）都可以帮助模型自己发现哪些部分是相关的。这种方法不需要标注数据，但对模型的学习能力要求更高。

举个简单的例子，我们想让模型理解“猫”这个概念。无论是文字、图片还是声音，它们对应的嵌入（Embedding）都应该在同一个空间里尽可能接近，而“狗”的嵌入则应该离“猫”远一些。只有这样，模型才能正确地把不同模态的信息对齐起来。

二、多模态大语言模型的工作原理

（一）表示学习（Representation Learning）

为了解决“如何表示信息”的问题，我们引入了表示学习的概念。简单来说，就是让模型学会把不同模态的信息转换成一种统一的表示形式。这里有两种主要的方法：

联合表示（Joint Representation）：这种方法就像是把所有模态的信息都融合到一个“大熔炉”里。具体来说，我们先把每种模态（比如文字、图片等）分别通过它们自己的编码器（Encoder）处理。比如，文字可以用BERT编码器，图片可以用VIT（Vision Transformer）编码器。然后，把这些编码器生成的嵌入（Embedding）通过拼接（Concatenation）的方式合并起来，再通过一个多模态注意力机制（Multimodal Attention Mechanism）或者投影层（Projection Layer），给不同的特征分配不同的权重。最终，生成的联合嵌入（Joint Embedding）就包含了所有输入模态的完整语义信息。

这种联合表示的方法特别适合输入模态之间关系紧密，或者训练数据有限的情况。因为它可以让模型在共享的表示空间里学习到更丰富、更有语义意义的特征。

协调表示（Coordinated Representation）：这种方法则完全不同。它先让每种模态独立地学习自己的表示，然后再在融合阶段把它们协调起来。具体来说，每种模态（比如文字、图片、音频等）都有自己独立的模型，这些模型分别训练，甚至可以有自己的损失函数（Loss Function）。训练完成后，再通过一种协调融合机制（Coordinated Fusion Mechanism），比如简单的拼接、跨模态注意力（Cross-Modal Attention）或者统计对齐方法（如典型相关分析Canonical Correlation Analysis，简称CCA）把它们的输出嵌入结合起来。

这种方法的优点是，每种模态都可以保留自己的特征结构，不会被强行塞进一个共享的表示空间。它特别适合模态之间相对独立，或者有大量模态特定数据的情况。

（二）融合策略（Fusion Strategies）

融合是多模态学习的核心，它决定了不同模态的信息如何被整合到一起。简单来说，融合就是把来自不同模态（比如文字、图片、音频）的信息合并成一个统一的表示，让模型能够做出更准确的预测。就像我们把不同食材混合在一起，做出一道美味的菜肴一样。

这里有三种常见的融合策略：

1. 早期融合（Early Fusion）：这种方法最简单，直接在输入阶段就把不同模态的原始数据拼接在一起。比如，把图片的像素值和文字的嵌入向量直接拼接起来，然后用一个模型来处理。这种方法可以让模型从一开始就学习模态之间的关系，但它也有缺点。比如，不同模态的数据结构和尺度可能差异很大，拼接后的特征空间可能会变得非常高维，很难处理。而且，这种方法有点“一刀切”，一开始就强迫模型用同一种方式处理所有模态，可能不太灵活。
2. 晚期融合（Late Fusion）：这种方法和早期融合完全相反。它先让每种模态分别通过自己的模型处理，然后再把结果合并起来。比如，用卷积神经网络（CNN）处理图片，用Transformer处理文字，最后再用加权平均（Weighted Averaging）或者投票（Voting）的方式把结果结合起来。这种方法的优点是，每种模态都可以用最适合自己的模型来处理，而且实现起来也比较简单。但它的缺点是，模态之间的低层特征无法交互，因为它们被隔离得太久了。而且，融合发生在最后阶段，对每种模态内部的特征学习影响不大。
3. 中期融合（Mid Fusion）：这种方法介于早期融合和晚期融合之间，它在模型的中间层把不同模态的信息结合起来。这种方法既可以让模型学习模态之间的低层交互，又可以保留高层的语义关系。比如，用一个注意力机制（Attention Mechanism）或者特殊的传输模块（Transfer Module），让不同模态的信息在多个层次上交互。这种方法的优点是，既可以保留每种模态的独立性，又可以让模型学习到丰富的跨模态关系。但它的缺点是，设计和训练起来比较复杂，找到最佳的融合点和融合方法也是一大挑战。

（三）核心编码器架构（Core Encoder Architectures）

在多模态大语言模型中，编码器（Encoder）是处理每种模态信息的关键组件。这里我们来介绍几种常用的编码器架构：

CLIP（Contrastive Language-Image Pre-training）：CLIP是多模态学习的一个重要突破。它的核心思想是通过对比学习（Contrastive Learning），让模型学会把图片和文字对应起来。具体来说，CLIP有两个编码器：一个视觉编码器（Vision Encoder）处理图片，一个文本编码器（Text Encoder）处理文字描述。这两个编码器通过一个对比目标（Contrastive Objective）联合训练，让模型学会把相关的图片和文字拉近，把不相关的图片和文字推远。

训练过程中，模型会看到一批图片和文字对（比如5对）。它会分别计算每张图片和每段文字的嵌入向量，然后通过对比损失函数（Contrastive Loss Function）来优化。这个损失函数会最大化正确图片和文字对的相似度，同时惩罚错误对的相似度。通过这种方式，CLIP可以从互联网上找到的大量图片和文字对（比如4亿对）中学习，而不需要人工标注的数据。这种方法让模型学会了丰富的语义关系，而且还可以在零样本（Zero-shot）的情况下完成图像分类和检索任务。

SigLIP（Sigmoid Loss for Improved Efficiency）：SigLIP是CLIP的一个改进版本，它解决了CLIP在计算效率上的问题。CLIP需要计算一个批次中所有图片和文字对之间的相似度，而SigLIP则使用了一种成对的Sigmoid损失函数（Pairwise Sigmoid Loss），直接对单独的图片和文字对进行计算。这种方法不需要全局计算所有对的相似度，可以让模型更高效地扩展到更大的批次，同时还能保持甚至提高性能。

SigLIP的架构保留了CLIP的双编码器结构，但它在训练机制上进行了优化。它使用单独的图片和文字编码器生成嵌入向量，然后通过Sigmoid损失函数来鼓励匹配对的相似度高，不匹配对的相似度低。这种方法在各种图像和文字任务中表现出色，而且比传统的对比学习方法更高效。

RoPE（Rotary Position Embedding）：RoPE虽然不是一个编码器模型，但它是一种在大语言模型中广泛使用的嵌入策略。它的核心思想是通过旋转矩阵（Rotation Matrices）来编码位置信息，同时自然地包含相对位置依赖关系。这种方法可以让模型灵活地处理任意长度的序列，而且还能在自注意力机制（Self-Attention Mechanism）中加入相对位置编码。

RoPE的数学基础是基于旋转矩阵的。它通过旋转嵌入向量来表示序列中每个位置的信息。这种旋转方式可以确保嵌入向量之间的点积既包含内容相似性，又包含相对位置关系。而且，RoPE还有一个衰减特性（Decay Property），即序列中距离越远的词，它们之间的注意力权重会自然降低。这和很多自然语言和多模态任务中的局部上下文更重要的特性非常契合。

在多模态应用中，RoPE可以让模型更有效地处理不同长度的序列，这对于处理不同模态（比如图片和文字）的时空特性非常重要。RoPE还可以让模型处理比训练时更长的序列，这对于需要处理多样化输入格式和长度的多模态模型来说非常有价值。

三、多模态模型的案例研究

（一）LLaVA（Large Language and Vision Assistant）

LLaVA的核心思想是用一个非常简单的架构，通过高效地连接一个预训练的视觉编码器（来自CLIP）和一个预训练的大语言模型（Vicuna），来实现令人印象深刻的视觉推理能力。它通过一个可训练的线性投影层（Linear Projection Layer）把视觉特征映射到语言模型的词嵌入空间（Word Embedding Space），从而让模型能够同时处理文字和图片。

1. 训练过程

LLaVA的训练分为两个阶段：

第一阶段：视觉特征对齐（Visual Feature Alignment，预训练）

目标：教会投影层把视觉特征映射到语言模型的词嵌入空间。

数据：使用Conceptual Captions（CC3M）的一个子集，包含图片和对应的描述。

方法：图片通过（冻结的）CLIP-ViT编码器处理，输出的视觉特征通过（可训练的）线性投影层。这些投影后的视觉标记（Visual Tokens）被添加到标记化的描述前面。然后，冻结的Vicuna语言模型通过自回归（Autoregressive）的方式预测描述。在这个阶段，只有线性投影层的权重会被更新。

第二阶段：指令微调（Instruction Fine-tuning，端到端）

目标：提高模型遵循指令和进行复杂视觉对话的能力。

数据：使用一个高质量的合成数据集（LLaVA-Instruct-158K），由GPT-4生成，包含关于图片的各种问题、详细描述和复杂推理任务。这个数据集包括：多模态对话（58k）、图片的详细文字描述（23k）和复杂推理/复杂视觉问答（77k）。

方法：在这个阶段，投影层和语言模型的权重都会在指令数据集上进行微调。模型的输入是投影后的图像特征和文本指令/问题的组合。

2. 工作原理

LLaVA可以处理文本、图像或两者的组合输入。具体来说：

• 文本输入：Vicuna的语言模型会把输入的文本（比如问题）通过它的分词器（Tokenizer）和嵌入系统（Embedding System）进行处理。
• 图像输入：CLIP的视觉编码器（特别是它的Vision Transformer，ViT）会从图像中提取丰富的视觉特征。这些特征通常是一系列向量，代表着图像的不同区域。
• 投影：这些视觉特征向量会通过一个多层感知机（MLP Projection Layer）进行线性变换，把视觉特征映射到和Vicuna语言模型的词嵌入空间相同的维度。这样，视觉信息就“看起来像”词标记了。
• 组合输入到语言模型：模型会把投影后的视觉标记和文本标记嵌入组合起来（比如，把视觉标记放在文本标记前面）。
• 语言模型处理（融合和推理）：这个组合后的序列会被输入到Vicuna语言模型中。语言模型的注意力机制会同时处理这两种标记，这就是“融合”发生的地方。模型会把文本的一部分和相关的视觉标记关联起来，目标是实现联合嵌入（Joint Embedding）和隐式对齐（Implicit Alignment）。
• 输出生成：基于处理后的组合输入，语言模型会自回归地生成一个文本回答。

3. 简化版解释

LLaVA就像是一个超级聪明的助手。它先用CLIP的“眼睛”（视觉编码器）看一张图片，然后把看到的内容变成一种特殊的语言模型能理解的“语言”。接着，它用一个“翻译器”（投影层）把图片的内容翻译成语言模型能懂的词，然后把这些词和你问的问题一起交给超级大脑（Vicuna语言模型）。大脑会同时处理图片的内容和你的问题，最后用文字回答你的问题。

（二）Llama 3 Vision（Llama 3.1 Vision 8B / 70B）

Llama 3 Vision的目标是通过整合强大的视觉编码器和Llama 3语言模型，打造开源的多模态模型。它结合了Meta在大语言模型、视觉模型和大规模训练方法上的最新进展，能够进行复杂的视觉推理、理解细微的视觉细节，并执行涉及图像和文本的复杂指令。

1. 训练过程

Llama 3 Vision的训练分为两个阶段：

第一阶段：大规模多模态预训练（Large-Scale Multimodal Pre-training）

目标：让模型在大规模数据上学习基本的视觉概念及其与语言的深度对齐。

数据：使用数十亿对图像和文本对，这些数据来自各种来源，比如公开的网络数据和授权的数据集。Meta拥有大量（匿名且保护隐私的）图像和文本数据。

方法：视觉编码器（比如CLIP ViT）、投影模块（比如两层MLP）和Llama 3语言模型会联合训练。模型会学习如何根据图像预测相关的文本，或者预测文本/图像中被掩盖的部分。这个阶段会训练投影模块，并对视觉编码器和语言模型进行微调，以实现多模态理解。

第二阶段：指令微调（Instruction Fine-tuning，端到端）

目标：增强模型遵循多样化指令、进行对话和执行特定多模态任务的能力。

数据：使用高质量的多模态指令数据集，包括视觉问答（VQA）、图像描述、视觉推理、目标定位、图像中的光学字符识别（OCR）、图表/图表理解等任务。

方法：整个模型（或其重要部分）会在这些指令数据集上进行微调，以提高模型的有用性、安全性和任务特定性能。

2. 工作原理

Llama 3 Vision处理图像和文本输入，生成文本输出：

• 文本输入：使用Llama 3的高级分词器（比如128k词汇量）将文本（比如问题、指令）转换为标记嵌入。
• 图像输入：输入图像会被预处理（比如调整到448×448分辨率），然后通过强大的视觉编码器（比如CLIP ViT模型）。视觉编码器会输出一系列视觉嵌入，代表图像的多个区域（比如Llama 3.1 Vision会生成144个视觉标记）。
• 投影：这些视觉嵌入会通过投影模块（比如两层MLP），将视觉特征转换为与Llama 3语言模型输入空间兼容的嵌入。
• 组合输入到语言模型：投影后的视觉标记会与文本标记嵌入组合。可能会使用特殊的图像标记来标记视觉信息在序列中的位置。
• 语言模型处理（融合和推理）：Llama 3语言模型会处理这个交错的视觉和文本标记序列。它的复杂注意力机制（比如分组查询注意力，用于处理长序列）可以让模型深度整合和关联两种模态的信息，从而实现联合嵌入和隐式对齐。
• 输出生成：语言模型会利用其庞大的预训练知识、详细的视觉信息和文本上下文进行推理，并生成一个连贯且相关的文本回答。

3. 简化版解释

Llama 3 Vision就像一个超级智能的“侦探”。它用一个非常厉害的“眼睛”（视觉编码器）把图像分解成很多细节（图像区域信息），然后通过一个“翻译器”（投影模块）把这些细节翻译成语言模型能懂的语言。接着，它把翻译后的内容和你提出的问题一起交给一个超级聪明的大脑（Llama 3语言模型）。因为这个大脑经过了大量数据的训练，所以它能理解图像中的复杂内容，并用文字给出非常详细且聪明的回答。

四、多模态大语言模型的未来展望

随着技术的不断进步，多模态大语言模型正在迅速发展。从早期的简单融合到现在的复杂架构，这些模型已经能够处理多种模态的信息，并在各种任务中表现出色。然而，未来还有更多的可能性。

（一）更高效的融合策略

未来，我们可能会看到更多高效的融合策略。比如，中期融合（Mid Fusion）可能会结合更多先进的技术，比如更复杂的注意力机制和动态融合机制。这些机制可以根据输入的复杂性动态调整融合的方式和深度，从而更好地处理不同模态之间的关系。

（二）更强大的模型架构

随着计算能力的提升，未来的多模态模型可能会更大、更复杂。比如，Llama 4可能会引入混合专家模型（Mixture-of-Experts，MoE）架构，这种架构可以根据输入的特征动态选择最适合的“专家”模块进行处理。这不仅能提高模型的效率，还能让模型在处理大规模数据时更加灵活。

（三）更广泛的应用场景

多模态大语言模型的应用场景将越来越广泛。从智能助手、自动驾驶到医疗影像分析，这些模型将能够更好地理解和处理复杂的多模态数据。比如，在医疗领域，模型可以同时分析病人的病历（文本）、医学影像（图像）和生理数据（如心电图），从而提供更准确的诊断建议。

（四）更注重伦理和安全性

随着多模态模型的应用越来越广泛，伦理和安全性将成为重要的研究方向。比如，如何防止模型生成有害或有偏见的内容，如何保护用户隐私，以及如何确保模型在面对恶意攻击时保持稳定等，都是未来需要解决的问题。

五、总结

多模态大语言模型的发展是人工智能领域的一个重要里程碑。从早期的简单融合到现在的复杂架构，这些模型已经能够处理多种模态的信息，并在各种任务中表现出色。通过深入理解多模态模型的工作原理，我们可以更好地利用它们的强大能力，推动人工智能技术的发展。

未来，随着技术的不断进步，多模态模型将变得更加高效、强大和安全。它们将在更多领域发挥重要作用，为我们的生活和工作带来更多的便利和创新。

本文转载自​​Halo咯咯​​    作者：基咯咯