本文经自动驾驶之心公众号授权转载，转载请联系出处。
大家好，我叫袁健豪，很开心来自动驾驶之心平台分享我们在IROS2023上关于雷达位置识别的工作。
由于其对挑战性环境的固有抗性，使用调频连续波 (FMCW) 雷达的定位越来越受到关注。然而，雷达测量过程的复杂伪影需要适当的不确定性估计 - 以确保这种有前景的传感器模式的安全和可靠应用。在这项工作中，我们提出了一个多会话地图管理系统，该系统基于嵌入空间中学到的方差属性构建“最佳”地图以进行进一步的定位。使用相同的方差属性，我们还提出了一种新的方法，内省地拒绝可能是不正确的定位查询。为此，我们应用了鲁棒的噪声感知度量学习，既利用沿驱动路径的雷达数据的短时间尺度变化（用于数据增强），又预测基于度量空间的位置识别中的下游不确定性。我们通过对 Oxford Radar RobotCar 和 MulRan 数据集的广泛交叉验证测试证明了我们方法的有效性。在此，我们仅使用单个最近邻查询就超越了雷达位置识别的当前最新技术和其他不确定性感知方法。当基于不确定性拒绝查询时，我们还显示了在一个困难的测试环境中的性能增加，这是我们没有观察到的与竞争的不确定性感知位置识别系统。
Off the Radar的出发点
位置识别和定位是机器人技术和自主系统领域的重要任务，因为它们使系统能够理解和导航其环境。传统的基于视觉的位置识别方法经常容易受到环境条件变化的影响，如光照、天气和遮挡，导致性能下降。为了解决这个问题，人们越来越关注使用FMCW雷达作为这种对抗性环境的稳健传感器替代品。
现有的工作已经证明了手工制作的和基于学习的特征提取方法的FMCW雷达位置识别的有效性。尽管现有的工作取得了成功，但这些方法在自动驾驶等安全关键应用中的部署仍受到校准不确定性估计的限制。在这个领域，需要考虑以下几点：
- 安全性要求不确定性估计与误报率良好地校准，以便启用内省拒绝；
- 实时部署需要快速的基于单次扫描不确定性的推理能力；
- 长期自主性中的重复路线遍历需要在线连续地图维护。
虽然VAE通常用于生成任务，但其概率潜在空间可以作为位置识别的有效度量空间表示，并允许对数据噪声分布进行先验假设，这也提供了一个标准化的偶然不确定性估计。因此，在本文中，为了实现FMCW雷达在自动驾驶中的可靠和安全部署，我们利用了一个变分对比学习框架，并提出了一个统一的基于不确定性的雷达位置识别方法。
系统流程概览
在离线阶段，我们使用变分对比学习框架来学习一个带有估计不确定性的隐藏嵌入空间，使得来自相似拓扑位置的雷达扫描彼此接近，反之亦然。在在线阶段，我们开发了两种基于不确定性的机制来处理连续收集的雷达扫描，用于推理和地图构建。对于重复遍历相同的路线，我们通过用更确定的扫描替换高度不确定的扫描来积极维护一个集成的地图字典。对于不确定性低的查询扫描，我们基于度量空间距离从字典中检索匹配的地图扫描。相反，我们拒绝对高不确定性的扫描进行预测。
Off the Radar的方法介绍
本文介绍了一种用于雷达位置识别的变分对比学习框架，来描述位置识别中的不确定性。主要贡献包括：
- 不确定性感知的对比学习框架。
- 基于校准不确定性估计的内省查询机制。
- 在线递归地图维护用于变化的环境。
变分对比学习
变分对比学习框架概览，基于[^Lin2018dvml]. 通过编码器-解码器结构学习一个度量空间，其中有两个重新参数化的部分：一个用于识别的确定性嵌入和一组参数建模多变量高斯分布，其方差作为不确定性度量。整体学习由重构和对比损失共同驱动，以确保雷达扫描的信息性和区分性的隐藏表示。
这一部分的工作既是我们核心贡献的关键推动者，也是深度变分度量学习与雷达位置识别的新颖整合，以及在位置识别中表征不确定性的新方法。如图所示，我们采用了一个结构来将雷达扫描嵌入分解为一个噪声诱导的变量部分，它捕获了与预测无关的不确定性来源的方差，以及一个语义不变的部分，用于场景表示的基本特征。变量部分后来从一个先验的多元等方高斯分布中采样，并添加到不变性部分，形成整体表示。变量输出直接用作不确定性度量。我们假设我们只考虑由数据中的固有模糊性和随机性引起的模型预测的偶然不确定性作为不确定性的主要来源。特别是对于雷达扫描，这可能是由于斑点噪声、饱和和临时遮挡。标准的度量学习方法，不考虑所选择的损失函数，都倾向于在正样本对之间强制相同的嵌入，同时忽略了它们之间的潜在方差。然而，这可能导致模型对微小特征不敏感，并过度拟合训练分布。因此，为了模拟噪声方差，我们使用结构中的额外概率方差输出来估计偶然不确定性。为了建立这样一个噪声感知的雷达感知表示，我们使用四个损失函数来指导整体训练。
1） 不变对比损失在确定性表示 ( Z_I ) 上，以从雷达语义中分离任务无关的噪声，使得不变嵌入包含足够的因果信息；以及
2） 变量对比损失在整体表示 ( Z ) 上，建立有意义的度量空间。两种对比损失均采取以下形式。
其中一个批次由m个样本和使用“旋转”策略，合成旋转的时间近似帧增强 组成，这只是旋转增强，用于旋转不变性。我们的目标是最大化增强样本被识别为原始实例的概率，同时最小化反转情况的概率。
其中嵌入 ( Z ) 是 ( Z_I ) 或 ( Z ) ，如公式1）和2）中所述。
3）Kullback–Leibler (KL) 散度在学到的高斯分布和标准各向同性多变量高斯分布之间，这是我们对数据噪声的先验假设。这确保了所有样本噪声的相同分布，并为变量输出的绝对值提供了一个静态参考。
4） 重建损失在提取特征图 ( M ) 和解码器输出 ( M_R ) 之间，这迫使整体表示 ( Z ) 包含原始雷达扫描中的足够信息以进行重建。但是，我们只重建一个较低维度的特征图，而不是像素级雷达扫描重建，以减少解码过程中的计算成本。
虽然仅由KL散度和重建损失驱动的普通VAE结构也提供了潜在方差，但由于其众所周知的后验崩溃和消失方差问题，它被认为不可靠地用于不确定性估计。这种无效性主要是由于训练过程中两个损失的不平衡：当KL散度占主导地位时，潜在空间后验被迫等于先验，而当重建损失占主导地位时，潜在方差被推到零。然而，在我们的方法中，我们通过引入变量对比损失作为额外的正则化器，实现了更稳定的训练，其中方差被驱使在度量空间中保持聚类中心之间的稳健边界。因此，我们获得了更可靠的潜在空间方差，反映了雷达感知的基础偶然不确定性。我们选择在特征增加的损失设置中展示我们特定的学习不确定性方法的好处。在这个领域，雷达位置识别的最新技术已经使用了许多（即超过2个）负样本的损失，所以，我们在这个基础上进行了扩展。
持续地图维护
持续地图维护是在线系统的一个重要功能，因为我们的目标是充分利用在自动驾驶车辆操作期间获得的扫描数据，并以递归的方式改进地图。合并新的雷达扫描到由先前遍历的扫描组成的父地图的过程如下所示。每个雷达扫描都由一个隐藏表示和一个不确定性度量表示。在合并过程中，我们为每个新扫描搜索匹配的正样本，拓扑距离在阈值以下。如果新扫描的不确定性较低，那么它将被集成到父地图中并替换匹配的扫描，否则它将被丢弃。
地图维护示意图：红色和绿色节点分别代表具有较高和较低不确定性的雷达扫描。我们始终维护一个作为每个位置的定位参考的父地图，该地图仅由具有最低不确定性的扫描组成。请注意，虚线边表示父地图的初始状态，实线边表示父地图的更新版本。
通过迭代地执行维护过程，我们可以逐渐提高集成父地图的质量。因此，维护算法可以作为一种有效的在线部署策略，因为它不断地利用同一路线遍历的多次经验来提高识别性能，同时保持一个恒定的父地图大小，从而导致有预算的计算和存储成本。
内省查询
由于与标准高斯分布的测量的模型不确定性，所有维度的估计方差接近于1。因此，我们可以使用两个超参数 \Delta 和 N 来完全定义不确定性拒绝的规模和分辨率。得到的阈值T定义如下：
给定一个具有 m 维潜在方差的扫描，我们对所有维度求平均，得到一个标量不确定性度量
预测拒绝
在推理时，我们执行内省查询拒绝，其中方差高于定义阈值的查询扫描将被拒绝识别。现有的方法，如 STUN 和 MC Dropout，动态地将批量样本的不确定性范围划分为阈值级别。然而，这需要在推理过程中有多个样本，并可能导致不稳定的拒绝性能，特别是当只有少量样本时。相比之下，我们的静态阈值策略提供了与样本无关的阈值级别，并提供了一致的单扫描不确定性估计和拒绝。这一特性对于实时部署地点识别系统至关重要，因为在驾驶过程中，雷达扫描是逐帧获得的。
实验细节
本文使用两个数据集：1） Oxford Radar RobotCar 和 2） MulRan。这两个数据集都使用CTS350-X Navtech FMCW 扫描雷达。雷达系统在76 GHz到77 GHz的范围内运行，可以生成多达3768个范围读数，分辨率为4.38厘米。
基准测试 的识别性能是通过与几种现有方法进行比较来完成的，包括原始的 VAE，Gadd et al 提出的最先进的雷达地点识别方法（称为 BCRadar），以及非学习基础的方法 RingKey（ScanContext 的一部分，没有旋转细化）。此外，性能还与 MC Dropout 和 STUN进行了比较，这两种方法作为具有不确定性意识的地点识别基线。
消融研究为了评估我们提出的内省查询（Q）和地图维护（M）模块的有效性，我们通过比较我们方法的不同变体进行了消融研究，分别表示为 OURS(O/M/Q/QM)，具体如下：
- O: 没有地图维护，没有内省查询
- M: 仅地图维护
- Q: 仅内省查询
- QM: 地图维护和内省查询都有 具体来说，我们比较了 O 和 M 之间的识别性能，以及 Q 和 QM 之间的不确定性估计性能。
通用设置为了确保公平的比较，我们为所有基于对比学习的方法采用了一个通用的批次对比损失，从而在基准测试中实现了一致的损失函数。
实施细节
扫描设置
对于所有方法，我们将具有 A = 400方位和 B = 3768 格的极坐标雷达扫描转换为笛卡尔扫描，每个箱子的大小为 4.38 cm，具有 W = 256的边长和 0.5 m 的箱子大小。
训练超参数
我们使用 VGG-19 [^simonyan2014very^] 作为背景特征提取器，并使用一个线性层将提取的特征投影到较低的嵌入维度 d=128。我们在 Oxford Radar RobotCar 中为所有基线训练了 10 个时代，在 MulRan 中为 15 个迭代，学习率为 1e{-5}，批次大小为 8。
评估指标
为了评估地点识别性能，我们使用 Recall@N (R@N) 指标，这是通过确定在 N 个候选者中是否至少有一个候选者接近 GPS/INS 所指示的地面真实值来确定的本地化的准确性。这对于自动驾驶应用中的安全保证尤为重要，因为它反映了系统对假阴性率的校准。我们还使用 Average Precision (AP) 来测量所有召回级别的平均精度。最后，我们使用 F-scores 与 \beta=2/1/0.5 来分配召回对精确度的重要性级别，作为评估整体识别性能的综合指标。
此外，为了评估不确定性估计性能。我们使用 Recall@RR，在这里我们执行内省查询拒绝，并在不同的不确定性阈值级别上评估 Recall@N=1 -- 拒绝所有查询的扫描的不确定性大于阈值的。我们因此拒绝了 0-100% 的查询。
结果总结
地点识别性能
如 Oxford Radar RobotCar实验中表格1所示，我们的方法仅使用度量学习模块，在所有指标上都取得了最高的性能。具体来说，在 Recall@1 方面，我们的方法 OURS(O) 展示了通过变分对比学习框架学习的方差解耦表示的有效性，实现了超过 90.46% 的识别性能。这进一步得到了 MulRan 实验结果的支持，如表2所示，我们的方法在 Recall@1、总体 F-scores 和 AP 上均优于其他所有方法。尽管在 MulRan 实验中，VAE 在 Recall@5/10 上优于我们的方法，但我们的方法在两种设置中的最佳 F-1/0.5/2 和 AP 表明，我们的方法具有更高的精确度和召回率，从而实现了更准确和稳健的识别性能。
Oxford Radar RobotCar识别性能。最佳和次佳的结果分别为粗体和__下划线__。
Mulran识别性能。格式同上。
此外，通过进一步利用Oxford Radar RobotCar中的持续地图维护，我们能够将 Recall@1 进一步提高到 93.67%，超过了当前最先进的方法 STUN，超出了 4.18%。这进一步证明了学习方差作为一个有效的不确定性度量，以及基于不确定性的地图集成策略在提高地点识别性能方面的有效性。
不确定性估计性能
随着被拒绝的不确定查询的百分比增加，识别性能的变化，特别是 Recall@1，在 Oxford Radar RobotCar 实验中如图1所示，在 MulRan 实验中如图2所示。值得注意的是，我们的方法是唯一一个在两种实验设置中都展示出随着不确定查询拒绝率增加而持续改进的识别性能的方法。在MulRan实验中，OURS(Q) 是唯一一个随着拒绝率增加而持续平稳地提高 Recall@RR 指标的方法。与 VAE 和 STUN 相比，这两种方法也像我们的方法一样估计了模型的不确定性，OURS(Q) 在 Recall@RR=0.1/0.2/0.5 上实现了 +(1.32/3.02/8.46)% 的改进，而 VAE 和 STUN 分别下降了 -(3.79/5.24/8.80)% 和 -(2.97/4.16/6.30)%。
Oxford Radar RobotCar的内省查询拒绝性能。随着被拒绝的不确定查询的百分比增加，Recall@1增加/减少。由于 VAE 的性能与其他方法相比较低（具体为Recall@RR=0.1/0.2/0.5的 (48.42/48.08/18.48)%），因此没有进行可视化。
Mulran的内省查询拒绝性能。格式同上。
另一方面，与 MC Dropout 相比，后者估计了由于数据偏见和模型误差导致的认知不确定性，尽管它在Oxford Radar RobotCar实验的早期阶段有更高的 Recall@1 增加，但其性能总体上低于我们的，并且随着拒绝率进一步增加，未能实现更大的改进。最后，比较 OURS(Q) 和 OURS(QM) 在Oxford Radar RobotCar实验中，我们观察到 Recall@RR 的变化模式相似，而它们之间存在相当大的差距。这表明内省查询和地图维护机制独立地为地点识别系统做出了贡献，每种机制都以不可或缺的方式利用了不确定性度量。
关于Off the Radar的讨论
定性分析和可视化
为了定性地评估雷达感知中的不确定性来源，我们提供了使用我们的方法估计的两个数据集中的高/低不确定性样本的视觉比较。如图所示，高不确定性的雷达扫描通常显示出重度的运动模糊和稀疏的未检测区域，而低不确定性的扫描通常包含在直方图中强度更强的明显特征。
具有不同不确定性水平的雷达扫描的可视化。左边的四个示例来自Oxford Radar RobotCar Dataset，而右边的四个示例来自MulRan。我们展示了具有最高 (顶部) / 最低 (底部) 不确定性的前10个样本。雷达扫描以增强对比度的笛卡尔坐标显示。每个图像下方的直方图显示了从所有方位角提取的强度的RingKey描述符特征。
这进一步支持了我们关于雷达感知中不确定性来源的假设，并作为我们的不确定性测量捕获这种数据噪声的定性证据。
数据集差异
在我们的基准实验中，我们观察到两个数据集之间的识别性能存在相当大的差异。我们认为可用训练数据的规模可能是一个合理的原因。Oxford Radar RobotCar的训练集包括超过300Km的驾驶经验，而 MulRan数据集只包括大约120Km。然而，也考虑到RingKey描述符方法的性能下降。这表明雷达场景感知中可能存在固有的不可区分的特征。例如，我们发现具有稀疏开放区域的环境通常导致相同的扫描和次优的识别性能。我们在这个数据集上展示了在这些高不确定性的情况下我们的系统和各种基线发生了什么。
原文链接：https://mp.weixin.qq.com/s/wu7whicFEAuo65kYp4quow
