#码力全开·技术π对#Google Gemini 大模型在多模态任务中，文本与图像特征融合的底层注意力机制是如何优化

其底层采用局部/块状注意力动态选择交互范围，减少冗余计算；跨模态融合时，通过共享键值投影矩阵（如图像与文本的交叉注意力），降低内存占用。相比Transformer全注意力的O(n²)复杂度，Gemini通过稀疏模式将计算量降至接近线性，并借助分层注意力优先处理高信息密度区域，显著提升长序列和多模态任务的处理效率。

Gemini 2.0 引入稀疏注意力机制来降低计算复杂度。采用局部注意力，让每个 token 仅与其邻近固定窗口内的 token 交互；还有块状注意力，将序列划分为若干块，每个 token 仅与同一块内的 token 交互。此外，可能使用基于学习的稀疏模式，通过可训练掩码动态决定注意力范围，结合高效矩阵运算库减少计算量，有效处理长序列的文本与图像混合数据。

为处理极长的混合模态序列，Gemini 使用了稀疏注意力机制。通过局部注意力让每个 token 仅与其邻近固定窗口内的 token 交互，以及块状注意力将序列划分为若干块，每个 token 仅与同一块内的 token 交互。还可能通过可训练掩码动态决定注意力范围，结合高效矩阵运算库，减少计算量，克服标准自注意力的二次方复杂度瓶颈。

在跨模态融合时，通过共享键值投影矩阵（如文本与图像的交叉注意力计算中），优化内存使用。如果分别为文本和图像的注意力计算单独构建键值投影矩阵，会占用大量内存。共享矩阵机制使得在计算文本与图像特征的注意力时，能够更高效地利用内存资源，减少内存占用，这对于处理大规模多模态数据至关重要，让模型在有限的硬件资源下能够处理更多数据。