突破多语言视觉-语言模型的全球化之路 原创

在人工智能的多模态学习领域，CLIP（Contrastive Language-Image Pretraining）模型自2021年发布以来，已经成为连接视觉和语言理解的重要基础模型。从零样本图像分类到多模态大语言模型的视觉编码器，CLIP的应用范围不断扩大，深刻影响了整个AI生态系统。然而，现有的CLIP模型及其变体主要专注于英语数据，这意味着全球互联网上超过50%的非英语内容被忽视了。Meta公司最新发布的Meta CLIP 2论文，首次提出了从全球网络数据从头训练CLIP模型的完整方案，为多模态AI的全球化发展开辟了新的道路。

1.传统CLIP的局限性

传统的CLIP模型面临着两个根本性挑战。首先是数据处理方面的局限：现有的数据筛选方法主要针对英语内容设计，缺乏处理非英语数据的有效算法。无论是OpenAI的原版CLIP还是Meta CLIP，都主要依赖英语元数据和筛选机制，导致大量有价值的非英语图像-文本对被丢弃。

其次是"多语言诅咒"现象：当模型尝试处理多语言数据时，英语性能往往会下降。这种现象在大语言模型中也广泛存在。例如，mSigLIP模型在ImageNet数据集上的表现比其纯英语版本SigLIP差1.5%，这迫使研究者必须为英语和非英语任务分别维护不同的模型。

目前CLIP数据处理主要分为两种方法：从头筛选和基于外部资源的蒸馏。从头筛选方法虽然能够提供可控的数据分布，但传统方法仅适用于英语数据。而蒸馏方法虽然性能良好且节省计算资源，但依赖于黑盒外部系统，引入了不可避免的偏差。例如，LAION数据集依赖OpenAI CLIP进行过滤，而DFN使用在私有高质量数据上训练的过滤器模型。

2.三项核心创新

第一，全球化元数据构建研究团队将原本仅限于英语的元数据扩展到了31种语言的WordNet同义词集和329种语言的维基百科语料。

这种设计保持了每种语言独立的元数据结构，不仅在直觉上更合理（例如"mit"在英语和德语中含义不同），性能也更优越，同时为未来添加新语言提供了灵活性。

第二，基于语言的筛选算法Meta CLIP 2开发了针对全球数据的筛选算法，采用逐语言的子串匹配和平衡机制。关键创新在于为每种语言设定特定的阈值参数，而不是使用统一标准。这种方法确保了不同语言数据中头部概念和尾部概念的平衡比例保持一致。

第三， 全球化训练框架训练框架包含三个重要组件：多语言文本分词器、扩展训练数据量，以及对最小可行模型容量的研究。特别是在训练数据量方面，将全局批次大小扩大2.3倍，确保英语数据的训练量不会因为加入非英语数据而减少。

3.技术实现细节

Meta CLIP 2的元数据来源与原版CLIP相同，但扩展到了全球范围：

• 多语言WordNet：包含31种语言的所有同义词集
• 维基百科单词和双词：处理2024年5月的维基百科转储数据，覆盖329种语言
• 维基百科标题：使用40个随机日期的维基百科快照，按各语言的点击流量排名
• 对于没有空格分隔的亚洲语言（如中文、日语、泰语等），研究团队采用了当地社区开发的开源分词器，以正确分割文本并保持语义完整性。

筛选算法优化为了高效处理数百种语言的大规模数据，研究团队采用了多项优化策略：

• 使用Aho-Corasick算法进行高效字符串匹配，速度比原始暴力实现快2000倍
• 惰性元数据加载技术，为每种语言单独预建并存储元数据到自动机中，仅在遇到新语言时动态加载
• 使用内存映射文件加载来管理概率计算时的内存约束

4.性能突破

Meta CLIP 2在多个基准测试中展现了卓越的性能。在零样本ImageNet分类任务中，ViT-H/14模型相比纯英语版本提升了0.8%，相比mSigLIP提升了0.7%。更令人印象深刻的是，该模型在多语言基准测试中创下了新的最佳记录：

• CVQA数据集：57.4%
• Babel-ImageNet：50.2%
• XM3600图像到文本检索：64.3%

研究团队的一个重要发现是模型容量对打破"多语言诅咒"的关键作用。实验表明，即使是OpenAI使用的最大模型ViT-L/14仍然受到多语言诅咒的影响，而ViT-H/14成为了打破这一诅咒的拐点。这一发现为未来多语言模型的设计提供了重要指导。

Meta CLIP 2在文化多样性方面也表现出色。在Dollar Street、GeoDE和GLDv2等地理多样性基准测试中，该模型显著优于现有方法。这表明通过保留全球图像分布，Meta CLIP 2继承了更全面的文化和社会经济覆盖范围，提高了地理定位和区域特定识别能力。

本文转载自​​鲁班模锤​​，作者：庞德公