NVIDIA发布DAM-3B：让图像和视频的局部描述“有模有样”！ 原创

在人工智能飞速发展的今天，多模态学习正逐渐成为研究的热点领域。视觉-语言模型（VLMs）作为其中的重要分支，已经在图像和视频的整体描述生成方面取得了令人瞩目的成就。然而，当我们试图让这些模型对图像或视频中的特定区域进行详细描述时，却常常发现它们的表现不尽如人意。这种局限性在视频数据中尤为明显，因为视频不仅需要处理空间信息，还要考虑时间动态。幸运的是，NVIDIA最新发布的Describe Anything 3B（DAM-3B）模型，为我们带来了新的希望。

一、局部描述的难题

在视觉-语言建模中，描述图像或视频中的特定区域一直是一个棘手的问题。现有的通用视觉-语言模型虽然能够很好地生成全局描述，但在生成详细且针对特定区域的描述时往往力不从心。这主要是因为：

1. 细节丢失：在视觉特征提取过程中，模型往往会丢失一些细粒度的细节，导致生成的描述不够具体。
2. 数据稀缺：缺乏专门针对区域描述的标注数据集，使得模型难以学习到准确的局部描述能力。
3. 评估标准的局限性：现有的评估基准通常依赖于与参考字幕的简单文本相似度，这可能会对正确但未出现在参考字幕中的描述进行惩罚。

二、DAM-3B：为局部描述而生

DAM-3B是NVIDIA推出的一款专门用于图像和视频局部描述的多模态大语言模型。它能够接受用户通过点、框、涂鸦或掩码指定的区域，并生成具有上下文关联的详细描述。DAM-3B的核心创新包括：

（一）焦点提示（Focal Prompt）

DAM-3B引入了“焦点提示”机制，将完整的图像与目标区域的高分辨率裁剪相结合。这种双视图输入方式既保留了区域的细节，又保留了更广泛的上下文信息。通过这种方式，模型能够更好地理解目标区域在整个图像中的位置和作用。

（二）局部视觉主干网络（Localized Vision Backbone）

DAM-3B的另一个创新是其增强的局部视觉主干网络。该网络通过嵌入图像和掩码输入，并应用门控交叉注意力（gated cross-attention）层，将全局特征和局部特征融合在一起。这种设计不仅保留了计算效率，还能够生成更丰富、更具上下文感知能力的描述。

（三）视频扩展能力

DAM-3B-Video进一步将这种架构扩展到时间序列，通过编码逐帧的区域掩码并将它们在时间上进行整合，模型能够为视频生成区域特定的描述，即使在存在遮挡或运动的情况下也能准确描述。

三、数据策略与评估基准

为了克服数据稀缺的问题，NVIDIA开发了DLC-SDP半监督数据生成策略。这一两阶段的过程利用分割数据集和未标注的网络图像，生成了150万局部描述样本。通过自训练方法，模型能够生成高质量的描述。

在评估方面，团队引入了DLC-Bench基准测试。与传统的基于文本相似度的评估方法不同，DLC-Bench使用基于属性的正确性评估描述质量。这种方法更接近人类的评估方式，能够更准确地衡量模型的性能。DAM-3B在DLC-Bench上的平均准确率达到了67.3%，超越了GPT-4o和VideoRefer等基线模型。

四、DAM-3B的“十八般武艺”

（一）高度详细的图像和视频描述

DAM-3B在生成图像和视频的详细描述方面表现出色。它不仅能够描述目标对象的名称或类别，还能捕捉到纹理、颜色模式、形状、显著部分以及任何视觉上的独特特征。例如，在描述一幅包含复杂图案的图像时，DAM-3B能够详细描述图案的细节，而不仅仅是简单地提到图案的存在。

（二）指令控制的描述生成

DAM-3B的灵活性在于它能够根据用户的指令生成不同详细程度和风格的描述。无论是需要一个简洁的总结，还是一个长篇大论的详细描述，模型都能根据用户的需求进行调整。这种能力使其在多种应用场景中都具有广泛的适用性，比如快速标注任务和深入的专业分析。

（三）零样本区域问答

除了生成描述之外，DAM-3B还能够回答关于指定区域的问题，而无需额外的训练数据。用户可以询问区域的属性，模型会基于其局部理解提供准确且具有上下文驱动的答案。这种能力大大增强了模型在自然交互场景中的实用性。

五、DAM-3B的架构设计

DAM-3B的架构设计巧妙地解决了传统模型在局部描述方面的不足。通过“焦点提示”，模型能够同时看到全局图像和目标区域的细节。局部视觉主干网络则通过门控交叉注意力层将全局和局部特征融合在一起，生成更丰富、更具上下文感知能力的描述。

（一）局部视觉主干网络的细节

局部视觉主干网络的设计是DAM-3B的关键。它将图像和掩码输入进行空间对齐，并通过门控交叉注意力层将详细的局部线索与全局上下文融合在一起。新参数初始化为零，保留了预训练的能力。这种设计不仅提高了描述的丰富性，还保持了计算效率。

（二）半监督数据生成策略

由于现有的数据集缺乏详细的局部描述，DAM-3B采用了半监督数据生成策略。首先，利用分割数据集中的短类别标签生成丰富的描述；其次，通过自训练方法在未标注的图像上生成和优化新的描述。这种方法不仅能够生成大规模的高质量训练数据，还避免了对大量人工标注的依赖。

六、DLC-Bench：更准确的评估基准

DLC-Bench是DAM-3B团队引入的一个新的评估基准。它使用基于语言模型的评估器来检查模型生成的描述是否正确，而不是简单地与参考字幕进行文本相似度比较。这种方法能够更准确地评估模型的性能，避免了因参考字幕不完整而导致的错误惩罚。

（一）DLC-Bench的优势

DLC-Bench的优势在于它能够更准确地评估模型在细节描述和幻觉（hallucination）方面的表现。通过查询语言模型评估器，DLC-Bench能够判断生成的描述是否包含正确的细节，并且是否避免了错误的幻觉。这种方法更接近人类的评估方式，能够更真实地反映模型的性能。

七、DAM-3B的性能表现

DAM-3B在多个基准测试中都取得了领先的成绩。它在关键词级（LVIS、PACO）、短语级（Flickr30k Entities）和多句局部描述（Ref-L4、HC-STVG）任务中都表现出色。在DLC-Bench上，DAM-3B的平均准确率达到了67.3%，超越了其他模型。

（一）性能对比

与现有的模型相比，DAM-3B在生成更详细、更准确的局部描述方面具有明显优势。它不仅能够生成高质量的描述，还能在零样本问答任务中表现出色。例如，在Flickr30k Entities数据集上，DAM-3B的性能比之前的最佳模型提高了7.34%；在Ref-L4数据集上，DAM-3B在短描述和长描述任务上分别提高了39.5%和13.1%。

八、DAM-3B的未来展望

DAM-3B的发布为多模态AI系统的发展提供了新的技术方向。它不仅在图像和视频的局部描述方面表现出色，还为未来的研究提供了可复现的基准。NVIDIA计划公开发布DAM-3B的代码、模型、数据和基准测试，以支持未来的研究工作。

（一）应用场景

DAM-3B的广泛应用前景令人期待。它可以在数据标注、视频内容分析、机器人视觉等领域发挥重要作用。例如，在视频内容分析中，DAM-3B能够为视频中的特定区域生成详细描述，帮助用户更好地理解视频内容。

（二）社区探索

随着DAM-3B的发布，我们期待看到社区对详细局部描述的潜力进行探索。希望这个模型和基准测试能够成为未来研究的有用资源，推动多模态AI系统的发展。

九、总结

NVIDIA的Describe Anything 3B模型为我们带来了多模态局部描述的新突破。它通过创新的架构设计和半监督数据生成策略，解决了传统模型在局部描述方面的不足。DAM-3B不仅在多个基准测试中表现出色，还为未来的研究提供了可复现的基准。我们相信，DAM-3B将在多模态AI系统的发展中发挥重要作用，为图像和视频的局部描述带来新的可能。

本文转载自公众号Halo咯咯    作者：基咯咯

原文链接：​​https://mp.weixin.qq.com/s/f3j7jPd4BkL-C1yjWcC5Ew​​