第6章 · 原课件与完整中文翻译

第 6 讲：视觉与抓取 II

王鹤教授（He Wang）

北大具身感知与交互实验室（EPIC Lab）

2025 年春季

三维平移误差分析：全部 21 个物体；纵轴：准确率，0、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1；横轴：平移阈值（米），0、0.02、0.04、0.06、0.08、0.1。

PoseCNN；PoseCNN + ICP；2 厘米；32%；90%。

三维旋转误差分析：PoseCNN；纵轴：数量，0、1000、2000、3000、4000、5000、6000、7000、8000；横轴：旋转角误差，0、50、100、150。

幻灯片来源：Yu Xiang。

• ICP 是一种点云配准方法。它以两个点云为输入，计算 R 与 T 矩阵，将一个点云变换后尽可能与另一个点云对齐。

\[\hat R,\hat T=\operatorname*{argmin}_{\substack{R\in\mathrm{SO}(3)\\T\in\mathbb R^{1\times3}}}\|Q-(RP+T)\|_F^2\]

其中 \(R\in\mathrm{SO}(3)\)，\(T\in\mathbb R^3\)，\(Q\in\mathbb R^{3\times n}\)，\(P\in\mathbb R^{3\times n}\)。

P：移动后的数据；Q：真实数据；校正后的 P；Q。

左图坐标刻度：−10、0、10、20、30、40；−5、0、5、10、15、20、25、30。右图坐标刻度：0、5、10、15、20、25、30；−5.0、−2.5、0.0、2.5、5.0、7.5、10.0。

• 将数据中心化。

\(\tilde P=P-\bar P\)；\(\tilde Q=Q-\bar Q\)。

移动后的中心化数据；真实的中心化数据。坐标刻度：−20、−15、−10、−5、0、5、10、15、20；−10、−5、0、5、10、15。

• 计算两个点云之间的 Chamfer 距离：对每个 \(p_i\)，搜索离它最近的 \(q_j\)，并获得从 \(\tilde P\) 到 \(\tilde Q\) 的对应点 \(\tilde P_{\mathrm{corr}}\)。

\[\tilde p_{i,\mathrm{corr}}=\operatorname*{argmin}_{\tilde q_j\in\tilde Q}\|\tilde q_j-\tilde p_i\|_2^2\]

• 计算复杂度为 \(O(|P|\times|Q|)\)。
• 使用 KD 树加速搜索。

中心化的 P；中心化的 Q；对应关系。坐标刻度：−20、−15、−10、−5、0、5、10、15、20；−10、−5、0、5、10、15。

• 问题变为 \(\hat R=\operatorname*{argmin}_{R\in\mathrm{SO}(3)}\|\tilde P_{\mathrm{corr}}-R\tilde P\|_F^2\)。
• 利用带约束的正交 Procrustes 求得 \(\hat R\)。
• 再由残差得到 T。
• 更新 P。

\[U,D,V^{\mathsf T}=\operatorname{SVD}(\tilde P_{\mathrm{corr}}\tilde P^{\mathsf T})\]

\[\hat R=U\operatorname{diag}(1,1,\det(UV^{\mathsf T}))V^{\mathsf T}\]

\[\hat T=\bar Q-\hat R\bar P\]

\[P_{\mathrm{new}}=\hat RP+\hat T\]

使过程迭代进行：

• 1. 减去均值，将数据中心化。
• 2. 为 \(\tilde P\) 中的每个点寻找对应点。
• 3. 利用带约束的正交 Procrustes 得到旋转 \(\hat R\)。
• 4. 将 \(\hat R\) 作用于 P 的均值向量，得到 \(\hat T\)。
• 5. 用 \(\hat R\) 和 \(\hat T\) 更新 P。

迭代终止条件：

• 1. \(\hat R\)、\(\hat T\) 小于某个阈值。
• 2. 损失的变化小于某个阈值。
• 3. 达到最大迭代次数。

平方差 P→Q；横轴刻度 0、2、4、6、8；纵轴刻度 0、5、10、15、20、25、30、35。

优点

• 简单，不需要点云分割或特征提取。
• 初始估计良好时，具有较好的精度和收敛性。

缺点

• 寻找最近对应点的计算开销较高；可以通过对稠密点云进行下采样，或使用小样本匹配加速迭代来降低开销。
• 只考虑点到点的距离，没有利用点云的结构信息。
• 高度依赖初始估计的准确性。

ICP 的变体

• 点到平面 ICP：考虑源点到目标点所在平面的距离，从而利用点云局部结构。
• 平面到平面 ICP：考虑源点云的局部结构，并计算平面到平面的距离。
• 快速且鲁棒的 ICP：提高 ICP 的速度与鲁棒性。

https://arxiv.org/abs/2007.07627

视频：https://www.youtube.com/watch?v=LcghboLgTiA

从 RGB-D 图像中，检测特定类别中此前未见过的物体，并估计其 6D 位姿与三维尺寸。

不需要已知 CAD 模型。

RGB；深度；三维尺寸（大小）；6D 位姿：三维平移与旋转。

• 类别内形状差异。

步骤 1（旋转归一化）：对齐物体朝向。

步骤 2（平移归一化）：将物体中心移至零点。

步骤 3（尺度归一化）：均匀归一化尺度。

NOCS 图；(0.5,0.5,0.5)、(−0.5,0.5,0.5)、(−0.5,0.5,−0.5)、(0.5,0.5,−0.5)、(−0.5,−0.5,−0.5)、(0.5,−0.5,−0.5)。

NOCS = 参考坐标系；RGB-D。

类别级位姿 = 从 NOCS 到相机空间的变换。

RGB 图像 → 逐像素预测 → NOCS 图 → NOCS 到点的转换 → NOCS 点。

深度 → 反投影 → 深度点。

使用 RANSAC 拟合位姿。

RoI Align；类别标签；卷积；实例掩码；NOCS 图；深度；位姿拟合。

• 网络：基于 Mask R-CNN 的检测器。
• 输出：9 自由度的完整物体包围盒。

• 类别内形状差异。
• 数据与标注。

• 类别内形状差异。
• 数据与标注。

• 类别内形状差异。
• 数据与标注。
  • 覆盖不同实例。
  • 覆盖不同环境。
  • 准确的 6D 位姿标注。

真实桌面场景；检测到的平面；ShapeNetCore；室内光照；合成物体；合成后的 RGB；真实 NOCS 图；真实深度；真实掩码。

混合现实数据生成流程。

• 上下文感知混合现实。
  • 300K 张图像（275K／25K）。
  • 31 个来自 IKEA 的场景。
  • 1,085 个 ShapeNet 模型。

＊这些标记不用于预测。

真实数据集（训练／验证／测试）

• 8K 幅 RGB-D 图像（4K／0.95K／3.75K）。
• 18 个真实场景（6／6／6）。
• 42 个不同实例（3／1／3）。

6 个物体类别

• 瓶子、碗、相机、笔记本电脑、马克杯。
• 对称物体与非对称物体。

实例掩码；NOCS 图；深度；位姿拟合。

• 利用 Umeyama 算法*估计 7 维相似变换。
• 利用 RANSAC 去除离群点。

https://zpl.fi/aligning-point-patterns-with-kabsch-umeyama-algorithm/

请自行阅读。

实例掩码；NOCS 图；深度；位姿拟合。

• Umeyama 算法。
• RANSAC 去除离群点。
• 使用预测 NOCS 的长宽高比例，得到 3 个尺寸。

请自行阅读。

实例掩码；NOCS 图；深度；位姿拟合。

• Umeyama 算法。
• RANSAC 去除离群点。
• 根据 NOCS 的长宽高比例得到 3 个尺寸。
• 输出：9 自由度的完整物体包围盒。

对称性感知损失函数：

\[L_s=\min_{i=1,\ldots,|\theta|}L(\tilde y_i,y^*)\]

N 个损失中的最小值。

请自行阅读。

真实值；预测结果（我们的方法）。

5 度准确率

10 度准确率

越高越好。

机器人感知透明物体：透明玻璃杯。

TransNet：通用点云 → Pointformer → 深层特征 → 平移、x 轴、z 轴、尺度。

类别级透明物体位姿。

机器人操作透明物体：机器人抓取；机器人倾倒。

TransNet：类别级透明物体位姿估计，ECCV 2022 研讨会。

机器人视角；对未见物体的实时跟踪；×4。

6-PACK：基于锚点关键点的类别级 6D 位姿跟踪器，ICRA 2020。

刚体物体位姿跟踪

我们的方法；6-PACK；(a) NOCS-REAL275。

关节物体位姿跟踪

(b) SAPIEN；(c) BMVC；我们的方法；ANCSH*。

(d) 机器人交互中的真实世界抽屉。

CAPTRA：从点云进行刚体和关节物体的类别级位姿跟踪，ICCV 2021，口头报告。

借助可泛化且可操作的部件，实现跨类别、可跨域泛化的物体感知与操作。

CVPR 2023 Highlight；2023 年 6 月 18–22 日，加拿大温哥华。

Haoran Geng*、Helin Xu*、Chengyang Zhao*、Chao Xu、Li Yi、Siyuan Huang、He Wang⁺。

北京大学；四川大学；加利福尼亚大学洛杉矶分校；清华大学。

PartNet-Mobility：以物体为中心；GAPartNet：以部件为中心。

9 类部件；8,489 个部件，来自 1,166 个物体、27 个物体类别。

输入

点云；RBG 图像。

预测

分割；NPCS 预测；包围盒。

交互视频

语言辅助的大规模合成数据生成（§3.1）

Objaverse；标签〈保温瓶〉；原模型；噪声纹理；形状；扩散模型；大型语言模型（LLM）；重复；增强后的模型；物理引擎；路径追踪。

“这里有一个〈保温瓶〉。请描述它可能的外观，包括颜色和样式。”

“这个保温瓶是现代的哑光灰色，带有橙色和白色的几何图案。”

神经物体建模（§3.2，无模型设置）

参考图像 → 神经物体场：几何网络 \(f^g\)、外观网络 \(f^c\) → 神经 RGB-D 渲染。

位姿假设生成（§3.3）

全局位姿采样；粗位姿下的渲染；以位姿为条件的输入裁剪；编码器（共享权重）；\(H\times W\times C\)；卷积残差块；图像块；位置嵌入；Transformer 编码器；线性层；旋转更新；平移更新；精化位姿。

位姿选择（§3.4）

K 个假设；假设 0；以位姿为条件的渲染；以位姿为条件的输入裁剪；位姿排序编码器；编码器（共享权重）；\(H\times W\times128\)；卷积残差块；图像块；位置嵌入；多头自注意力；\(P\times512\)；平均池化；\(F\in\mathbb R^{512}\)；多头自注意力；\(K\times512\)；线性层；排序；排名 0、排名 1、排名 \(K-1\)。

FoundationPose 是统一的 6D 物体位姿估计与跟踪基础模型，同时支持基于模型和无模型设置。

Bowen Wen 等，《FoundationPose：新物体的统一 6D 位姿估计与跟踪》，IEEE 计算机视觉与模式识别会议论文集，2024。

语言辅助的大规模合成数据生成（§3.1）

Objaverse；标签〈保温瓶〉；原模型；噪声纹理；形状；扩散模型；大型语言模型（LLM）；重复；增强后的模型；物理引擎；路径追踪。

“这里有一个〈保温瓶〉。请描述它可能的外观，包括颜色和样式。”

“这个保温瓶是现代的哑光灰色，带有橙色和白色的几何图案。”

• 获取真实世界数据需要难以承受的时间和成本。
• 合成数据中的 3D 资产往往缺乏足够的规模和多样性。
• 一种利用大型语言模型和扩散模型的新型合成数据生成流程。

Bowen Wen 等，《FoundationPose：新物体的统一 6D 位姿估计与跟踪》，IEEE 计算机视觉与模式识别会议论文集，2024。

位姿假设生成（§3.3）

全局位姿采样；粗位姿下的渲染；以位姿为条件的输入裁剪；编码器（共享权重）；\(H\times W\times C\)；卷积残差块；图像块；位置嵌入；Transformer 编码器；线性层；旋转更新；平移更新；精化位姿。

位姿初始化

• 1. 给定 RGB-D 图像，利用 Mask R-CNN 或 CNOS 模型检测物体。
• 2. 使用检测到的二维包围盒中心位置对应的三维点和深度中位数，初始化平移。
• 3. 从以物体为中心的二十面体细分球面上采样 N 个视点，使相机面向中心，以此初始化旋转。

Bowen Wen 等，《FoundationPose：新物体的统一 6D 位姿估计与跟踪》，IEEE 计算机视觉与模式识别会议论文集，2024。

位姿假设生成（§3.3）

全局位姿采样；粗位姿下的渲染；以位姿为条件的输入裁剪；编码器（共享权重）；\(H\times W\times C\)；卷积残差块；图像块；位置嵌入；Transformer 编码器；线性层；旋转更新；平移更新；精化位姿。

以位姿为条件的输入裁剪

• 1. 输入粗位姿下的物体渲染和输入图像的裁剪区域，输出精化后的位姿。
• 2. 将物体原点投影到图像空间作为裁剪中心，以放大后的物体直径作为裁剪尺寸，使物体及附近上下文包含在内。
• 3. 这一裁剪策略帮助网络更新平移，以便更好地与观测对齐。

Bowen Wen 等，《FoundationPose：新物体的统一 6D 位姿估计与跟踪》，IEEE 计算机视觉与模式识别会议论文集，2024。

机器人应用；YCB-Video 数据集上的结果；观测；真实值；我们的方法。

Bowen Wen 等，《FoundationPose：新物体的统一 6D 位姿估计与跟踪》，IEEE 计算机视觉与模式识别会议论文集，2024。

• 抓取：在一组接触点施加力和力矩，以期望的方式约束物体运动的过程。
• 抓取合成：寻找抓手位姿或关节构型的高维搜索或优化问题。

抓取前 → 抓取 → 抓取后。

抓取合成 → 接近物体 → 物理交互 → 抬起 → 放下／使用（可选）。

来源：R. Newbury、M. Gu、L. Chumbley、A. Mousavian、C. Eppner、J. Leitner、J. Bohg、A. Morales、T. Asfour、D. Kragic、D. Fox、A. Cosgun，《深度学习抓取合成方法综述》，arXiv:2207.02556。

• 抓取位姿：抓手的位置与朝向。
  • 4 自由度抓取：3 个位置自由度和 1 个朝向自由度。
  • 6 自由度抓取：3 个位置自由度和 3 个朝向自由度。
• 力封闭：能够抵消作用于物体的任意外部力旋量。

从上向下抓取；6 自由度抓取；灵巧手；平行夹爪。

• 在物理学中：
  • 给定作用在物体上的一组有摩擦接触，如果力旋量锥的正包络覆盖整个力旋量空间，则称其为力封闭。
  • 如果一组刚性的固定夹具使一个刚体完全不能运动，则称其为形封闭。
• 若所有接触均无摩擦，力封闭条件与一阶形封闭条件相同。
• 为机器人手规划抓取时，力封闭是一个较好的最低要求。形封闭通常过于严格，需要太多接触点。
• 简单地说，成功抓取 ⇒ 形封闭 ⇒ 力封闭。

https://modernrobotics.northwestern.edu/nu-gm-book-resource/12-2-3-force-closure

• 一个简化的二维问题。

具有无摩擦接触的二维抓取

\(f_1\)、\(f_2\)、\(f_3\)；\(f_x\)、\(f_y\)。

• √ 3 个可能的力向量，其中 2 个线性无关。
• × 在每个接触点均施加非零力时，可以产生合力为零的结果。
• × 原点位于可能施加的力所构成的空间内部。

由一个有摩擦接触与一个无摩擦接触组成的二维抓取

\(f_1\)、\(f_{2,1}\)、\(f_{2,2}\)；\(f_x\)、\(f_y\)。

• √ 3 个可能的力向量，其中 2 个线性无关。
• √ 在每个接触点均施加非零力时，可以产生合力为零的结果。
• √ 原点位于可能施加的力所构成的空间内部。

观看：https://www.youtube.com/watch?v=6RWFFMtD5k8

下周：第 7 讲，视觉与抓取 III。

具身感知与交互实验室；2025 年春季。