单图6D姿态估计新突破！OnePoseViaGen: 一个视频即可6D位姿估计，助力6D姿态估计迈向真实机器人应用

本研究针对单幅图像的6D物体姿态估计任务，提出了一种无需已知物体姿态的快速准确估计流程。首先利用单视图3D生成技术构建高保真纹理网格，通过由粗到精的对齐模块解决尺度模糊问题，结合2D-3D特征与深度信息实现初始姿态估计。为解决数据稀缺问题，引入文本引导的生成式增强技术生成多样化3D模型，并通过Blender渲染合成大规模领域随机化训练数据，显著提升模型泛化能力。实验表明，该方法在多个基准测试中取得最优性能，并在新自然数据集和真实机器人抓取任务中验证了鲁棒性。

相关链接

• 源码：​​https://github.com/GZWSAMA/OnePoseviaGen​​
• 项目：https://gzwsama.github.io/OnePoseviaGen.github.io/
• 试用：https://huggingface.co/spaces/ZhengGeng/OnePoseviaGen
• 论文：coming soon...

论文介绍

从单幅参考图像估计任意物体的 6D 姿态是机器人技术领域一项关键而又极具挑战性的任务，尤其考虑到现实世界实例的长尾分布。虽然基于类别和模型的方法已经取得了显著进展，但它们在单次训练设置下推广到未见过的物体方面仍然有限。在本研究中，我们提出了一种新颖的流程，用于快速准确地进行单次 6D 姿态和尺度估计。利用单视图 3D 生成领域的最新进展，我们首先构建高保真纹理网格，而无需已知物体姿态。为了解决尺度模糊性，我们引入了一个由粗到精的对齐模块，该模块通过将 2D-3D 特征与深度信息进行匹配来估计物体大小和初始姿态。然后，我们使用文本引导的生成式增强技术生成一组多样化的可信 3D 模型，并使用 Blender 进行渲染，从而合成大规模、领域随机化的训练数据，用于姿态估计。这些合成数据弥补了领域间的差距，并支持对姿态估计器进行鲁棒的微调。我们的方法在多个 6D 姿态基准测试中取得了最佳结果，并在新收集的自然数据集上进一步验证了其有效性。最后将系统与灵巧手集成，展示了其在现实世界机器人抓取任务中的稳健性。

概述

图 2 展示了OnePoseviaGen 概览。给定一个包含感兴趣对象的锚点 RGB-D 图像 I A ，主要挑战是在没有预先存在的 3D 模型的情况下估计其 6D 姿态，这是新物体的常见限制。为了解决这个问题，如图 2 左上角所示，首先利用单视图 3D 生成的最新进展来创建具有标准化方向和比例的纹理 3D 模型。然而，这个生成的模型存在于一个标准化的空间中，缺乏真实世界的比例。为了恢复物体在锚图像帧中的真实大小和位置，引入了一个粗到细的对齐模块。该模块将标准化的生成模型与 I A中的部分物体观测值对齐，同时估计物体的度量比例和初始 6D 姿态。一旦建立了锚视图中的度量尺度模型，就可以使用对齐的模型和稳健的姿态估计框架（包括用于处理潜在物体对称性的姿态选择模块）有效地估计后续查询 RGB-D 图像 I Q中物体的姿态。然后根据两个视图中的绝对姿态计算最终的相对变换 T A→Q。此外，认识到合成生成的模型和真实世界图像之间的领域差距，如图 2 下部所示，提出了一种文本引导的生成增强策略以创建一组多样化的可信 3D 模型。然后使用这些多样化的模型来合成大规模、领域随机化的训练数据集，从而实现姿态估计组件的稳健微调并弥合模拟到真实的差距，如我们的实验结果所示。

实验

• 公共数据集。在三个具有挑战性的公共数据集上评估了我们的方法：YCBInEOAT（机器人交互）、Toyota-Light（TOYL）（具有挑战性的照明）和LINEMOD Occlusion（LM-O）（杂乱、遮挡、无纹理的物体）。
• 真实世界评估。在真实世界环境中进行了两项实验：（1）通过我们的领域随机化流程生成合成训练数据，并在经过校准的真实数据集上进行测试，对不常见物体进行 6D 姿态估计；（2）机器人操作任务，使用配备 XHAND1 灵巧手的 ROKAE 机械臂和两个 AgileX PiPER 建立抓取设置，并根据基线测量成功率。

本文转载自​​AIGC Studio​​，作者：AIGC Studio