挖掘BEV潜力的边界！DA-BEV：无监督BEV SOTA新方案！-51CTO.COM

本文经自动驾驶之心公众号授权转载，转载请联系出处。

写在前面&笔者的个人理解

今天和大家探讨3D视觉感知领域中的一个特定问题：针对纯视觉的鸟瞰图（BEV）的无监督领Domain Adaptation（Unsupervised Domain Adaptation, UDA）。3D视觉感知在移动机器人、自动驾驶、虚拟现实等领域起着重要的作用，而近年来，纯视觉的BEV模型由于其在全面的3D理解、丰富的语义信息、高计算效率和低部署成本方面的优势而受到越来越多的关注。

研究背景上，尽管单目和基于激光雷达的3D感知取得了显著的进步，但当在源域（例如，训练数据的环境）训练的纯视觉BEV模型应用到目标域（例如，不同于训练数据的新环境）时，通常会出现明显的性能下降。这种性能降低主要是由于源域和目标域之间的显著差异所导致。

论文提出的问题是，尽管对于2D计算机视觉任务来说，无监督领Domain Adaptation已经被广泛探索，但对于纯视觉BEV感知来说，如何减少源域和目标域之间的差异仍然是一个极具挑战性且相对欠缺研究的问题。

为了解决这个问题，论文提出了一种名为DA-BEV的新框架，这是第一个针对纯视觉BEV感知的领域自适应框架。DA-BEV通过利用图像视图特征和BEV特征之间的互补性来解决BEV领Domain Adaptation的挑战。具体来说，这个框架通过引入可学习的查询来促进图像视图特征和BEV特征之间的相互作用，同时跨领Domain Adaptation它们。在这一过程中，BEV特征中的全局3D信息有助于适应图像视图特征，而图像视图特征中较少变化的2D信息则有助于适应BEV特征。

DA-BEV的设计包括两种基于查询的领Domain Adaptation技术：基于查询的对抗学习（QAL）和基于查询的自训练（QST）。这两种设计相辅相成，共同实现了有效的无监督BEV感知适应。

论文的主要贡献在于三个方面。首先，它提出了一种基于查询的领Domain Adaptation策略，这种策略利用了图像视图特征和BEV特征的互补性，适用于无监督的BEV感知适应。其次，它设计了DA-BEV，这是一种引入基于查询的对抗学习和基于查询的自训练的框架，有效地联合解决了领域自适应BEV感知的问题。最后，通过广泛的实验，DA-BEV在不同数据集和任务（如3D物体检测和3D场景分割）上展示了其在BEV感知适应方面的优越性能。

详解DA-BEV

DA-BEV整体框架

DA-BEV框架利用图像视图特征和BEV特征之间的互补性来解决BEV领Domain Adaptation的挑战。它设计了一种基于查询的领Domain Adaptation方法，通过引入可学习的查询，实现图像视图特征和BEV特征之间的交互以及它们的协同适应。直观地说，BEV特征中的全局3D信息有助于适应图像视图特征，而图像视图特征中的局部2D信息，由于领域变化较小，有助于适应BEV特征。基于这一理念，论文设计了两种基于查询的领Domain Adaptation技术：基于查询的对抗学习（QAL）和基于查询的自训练（QST）。

在DA-BEV框架中，为了捕获图像视图特征中较少的领域差异，引入了一个图像视图特征解码器，以及一组可学习的图像视图查询。图像视图查询和图像视图特征之间的交互产生了图像视图查询特征，可以用下式表示：

然后，将查询特征输入到多标签分类头中，以预测每个对象类别的概率。其中通过多标签分类损失函数进行训练，如下所示：

其中，表示图像视图多标签分类注释。

为了捕获BEV特征中的全局3D信息，直接使用现成的BEV查询，这些查询与BEV特征交互，生成解码的BEV查询特征。由于BEV特征编码了相机配置，而是用3D物体注释训练的，所以解码的BEV查询特征包含了丰富的全局3D信息，包括物体在3D BEV空间中的位置。这有助于适应那些在BEV空间中几乎不捕获全局3D信息的图像视图特征。

Query-based Adversarial Learning (QAL)

在Query-based Adversarial Learning (QAL)中，提出的方法利用从图像视图特征或BEV特征中查询得到的有用信息来规范化对方的对抗学习。具体来说，QAL使用两个域分类器来分别测量图像视图查询特征和BEV查询特征的域间距离，并利用测量得到的域间距离进行相互规范化。

QAL的关键在于同时减轻图像视图特征中的局部2D信息和BEV特征中的全局3D信息的域间差异，这两者对于在3D空间中定位和识别物体和背景都至关重要。此外，2D图像视图查询特征的对抗学习涉及较少的3D信息，其中BEV查询特征可以通过提供丰富的全局3D信息来有效地规范化它。

具体来说，域分类器和被用来测量2D图像视图和3D BEV特征的域间距离。QAL的相互规范化可以表述为以下损失函数：

其中是用于跨域对齐的广泛采用的对抗学习损失函数。

Query-based Self-training (QST)

在Query-based Self-training (QST)中，提出的方法利用从图像视图特征和BEV特征中查询得到的有用信息来规范化它们的自训练。直观地说，解码的图像视图查询特征捕获了丰富的2D语义和位置信息，这些信息在域间具有较少的差异，而解码的BEV查询特征则捕获了BEV空间中的丰富全局3D信息。因此，这两种特征互补，共同有效地规范化自训练。

QST首先利用来自图像视图或BEV特征的预测来去噪另一方的预测。然后，QST通过积累去噪后的预测，获取全局类别分布，并进一步利用它来促进伪标签的生成。生成的伪标签方法具有三个特点：1）阈值是根据图像视图和BEV特征捕获的2D和3D信息动态确定的；2）通过为每个类别选择相同百分比的伪标签来缓解类别不平衡问题；3）它是在线的，不需要额外的推理轮次。

QST的训练损失可以表述为：

总体目标

综上所述，提出的DA-BEV的整体训练目标可以表述为以下公式：

其中

这一目标结合了图像视图特征和BEV特征的对抗学习和自训练，以实现跨Domain Adaptation。

讨论

这篇论文提出的DA-BEV方法在跨域3D物体检测任务中展现了显著的优势，尤其是在处理不同光照和天气条件下的场景适应问题上。通过引入基于查询的自训练和对抗学习，DA-BEV能够有效地利用图像视图和BEV特征之间的互补性，从而改善了模型在目标域上的性能。这在跨天气条件，如从白天到夜间的适应任务中，尤为重要，因为光照变化对感知系统的影响很大。

定性分析表明，DA-BEV可以在多个相机视角中精确地识别和定位物体，并且在鸟瞰图中准确地重建3D场景。这一能力对于实际应用如自动驾驶和机器人导航是非常关键的，因为它们需要在各种环境条件下都能准确地感知周围的环境。此外，该方法在不同的网络骨架上都表现出良好的泛化能力，这意味着它可以与不同的网络架构集成，提高现有系统的适应性。

然而，DA-BEV方法也有其局限性。例如，它在某些特定类别，如拖车和建筑车辆的检测上，性能仍然有限，这可能是因为这些类别在数据集中的表示较少或者它们在不同光照条件下的外观变化更加显著。此外，虽然定性结果令人印象深刻，但在鸟瞰图中仍有少数误差，这表明模型在理解复杂场景方面仍有改进空间。

结论

在本文中，我们提出了DA-BEV，这是首个领域自适应的纯视觉BEV框架，它通过利用图像视图特征和BEV特征的互补性来解决领域自适应BEV的挑战。DA-BEV引入了基于查询的对抗学习（QAL）和基于查询的自我训练（QST），其中QAL/QST利用从图像视图特征或BEV特征中查询得到的有用信息来规范化另一个的对抗学习。广泛的实验展示了DA-BEV在各种数据集和任务上的卓越领域自适应BEV感知性能。展望未来，我们将通过引入它们的时间信息来进一步探索图像视图和BEV特征的互补性。、

原文链接：https://mp.weixin.qq.com/s/GSB8DX2VX6ROh6c-juRgMA

挖掘BEV潜力的边界！DA-BEV：无监督BEV SOTA新方案！