策略学习 I：模仿学习与行为克隆

1为什么需要策略学习？

回顾第 5-7 章的「视觉开环」范式（课件 p36）：预测位姿/抓取/可供性 → 运动规划到达 → 启发式抓取执行。它的两个局限：

• 操作复杂度有限：只能处理预定义好的简单操作（开抽屉、开柜门）；复杂操作（转笔）超出框架能力——主要瓶颈在于启发式规则的设计；
• 开环执行：规划一次、执行到底，过程中不再接收新的视觉反馈——「闭着眼睛做事」。一旦执行中出现意外（物体滑动、初始误差），任务就会失败。

第 6 章介绍过，高频重复「感知-规划-执行」循环可以把开环近似成闭环。另一条路线是学习随反馈调整动作的策略：

策略学习（Policy Learning）：构建一个根据环境状态变化动态响应、采取合理动作的 Policy。Policy 拥有闭环执行的潜力——每个时刻都重新决策，根据状态变化调整动作，为鲁棒性和高动态操作提供基础。

课件指出两条路（p39-40）：有专家演示 → 模仿学习（监督学习）；没有最优策略 → 强化学习（trial and error）。本章讲前者，第 9 章讲后者。

在进入策略学习之前，课件快速回顾了「视觉开环」范式的两个延伸方向（p31-35）：

中文翻译

（a）二维U形网络（2D-UNet）：H、W、F。

或（b）三维PointNet++（3D-PN++）：N、F。

逐点特征fₚ → （c）Dₐ → aₚ；fₚ与z → （d）Dᵣ → R_z|p；fₚ与R → （e）Dₛ → s_R|p。

另一种基于视觉的方法：可供性

Where2Act管线。

二维U-Net，或三维PointNet++；H、W、F、N；候选点特征f_p；D_a → a_p，D_r（z）→ R_z|p，D_s（R）→ s_R|p。

Mo, Kaichun等：《Where2Act：从像素到关节式三维物体动作》，IEEE/CVF国际计算机视觉会议论文集，2021。

对照原课件第32页与完整中文翻译 →

以及第 7 章介绍过的透明物体工作（ASGrasp）在本章的回顾版：

中文翻译

RGB彩色图。

深度。

点云；镜面反射；透明。

ASGrasp的推理管线

三维场景 → RGB-D主动立体相机：右红外图像、左红外图像、RGB彩色图像 → 三维点云重建：可见、不可见 → 6自由度抓取检测。

领域随机化训练数据集 → 从仿真到现实的迁移（Sim2Real） → 新真实世界场景中的测试结果。

我们提出ASGrasp，一种使用RGB-D主动立体相机的6自由度抓取检测网络，用以解决透明和镜面反射物体的抓取问题。

2基础术语与 MDP

数学框架：马尔可夫决策过程（MDP） $\mathcal{M} = \{S, \mathcal{A}, \mathcal{T}, r\}$——动作空间、状态转移 $p(s_{t+1}|s_t,a_t)$、奖励 $r(s_t,a_t)$。现实中通常只能观测到部分状态，于是有 POMDP：增加观测空间 $\mathcal{O}$ 与观测概率 $\mathcal{E}: p(o_t|s_t)$——智能体对 $s_t$ 的认识来自相关的 $o_t$，并据此作出决策。

模仿学习的一个经典例子（课件 p39）：PointGoal Navigation——用传统路径规划算法（A*）当「老师」，训练视觉策略在没有地图的新场景里导航。把传统算法变成监督信号，这是模仿学习最优雅的用法。

3行为克隆：最朴素的模仿

符号与损失：下面平方误差式中的 $\pi_\theta(s)$ 在此表示确定性动作输出。若学习随机策略，常用 $L_{BC}=-\frac1N\sum_i\log\pi_\theta(a_i^*|o_i)$。对固定方差的单高斯，最大似然等价于加权平方误差；多峰动作可以用混合、隐变量、扩散等分布表示，让模型保留不同的可行解。

行为克隆（Behavior Cloning, BC）：把模仿学习当成监督学习。给定专家数据集 $D = \{(s_i, a_i^*)\}_{i=1}^N$，最小化预测动作与专家动作的差异：

$$ \theta^* = \arg\min_\theta \sum_{(s_i, a_i^*) \in D} \|\pi_\theta(s_i) - a_i^*\|^2 $$

BC 的历史比想象中早：1989 年就有研究者用神经网络把视觉输入映射到车辆行为（方向盘、油门、刹车）——ALVINN 系统；2016 年深度学习版（更深网络、更多数据、更好校正）展示了不错的自动驾驶能力。

早期深度模仿学习系统

ALVINN：神经网络中的自主陆地车辆，1989。

30×32视频输入图像网格；4个隐藏单元；30个输出单元。

对照原课件第44页与完整中文翻译 →

课件紧接着问了一个尖锐的问题（p45）：「Does it work?」——「No, because of distribution drift!」下一节用闭环轨迹解释这种分布偏移。

4Distribution Shift：BC 的分布风险

分布偏移（Distribution Shift）：模仿学习依赖训练与测试数据分布一致；一旦被打破，模型难以泛化，且偏差随执行步数不断放大——一开始可能与训练分布一致，执行步数越多偏差越大，可能导致任务失败，恢复程度取决于反馈与策略覆盖。

中文翻译

黑色：训练轨迹；红色：πθ的期望轨迹。

状态（s）；时间。状态刻度：0、20、40、60、80、100；时间刻度：0、10、20、30、40、50、60、70、80、90、100；竖轴刻度：0、0.5、1。

三个原因（笔记）：

1. 专家演示只覆盖状态空间很小的一部分（专家成功路径上的状态）；
2. $\pi_\theta$ 不可能完美复制 $\pi^*$，再小的误差也会让智能体逐渐偏离专家状态分布；
3. 一旦进入训练数据中未曾出现的状态，BC 策略可能无法正确决策 → 错误累积 → 完全失败。

尽管有此局限，数据量足够大时 BC 依然表现不错（笔记）——增加演示时，既要关注数量，也要检查是否覆盖了部署时可能遇到的状态。

5解药：DAgger 与教师策略

Distribution Shift 的根源是「两个分布不对齐」：训练分布 $p_{data}(o_t)$ vs 策略执行分布 $p_\pi(o_t)$。两条思路：改变 $p_{data}$（扩充数据覆盖执行分布）或改变 $p_\pi$（拟合专家避免偏离）。

5.1 DAgger：错了就请教专家

Dataset Aggregation（DAgger）改变 $p_{data}$——主动收集策略执行时遇到的状态，向专家请教正确动作，加入训练集：

1. 用初始专家数据集 $D$ 训练初始策略 $\pi_1$；
2. 迭代 $N$ 轮：① 执行策略 $\pi_i$ 收集状态序列（Rollout）；② 对每个状态查询专家 $\pi^*$ 得到 $a_t^*$；③ 聚合 $D \leftarrow D \cup \{(s_t, a_t^*)\}$；④ 重训得 $\pi_{i+1}$。

每个新状态都由专家给出纠错动作。实施 DAgger 时，要确认专家能可靠标注这些状态，学生模型能表示相应的恢复策略。其理论保证还依赖可查询专家、合适的损失与学习算法等条件。

5.2 动作标签的其他来源（课件 p55）

• 从最优解获取：用 A* 等传统算法直接算出最短路径上的动作标签——无需真人演示；
• 从教师策略学习：假设存在拥有特权信息（Privileged Knowledge）的教师策略（仿真真实状态、物体精确位姿、物理参数）。学生策略（只看到图像/点云）执行时，教师在线纠正——与固定专家轨迹不同，教师具有在线适应与纠错能力。

6遥操作：专家数据从哪来

BC 需要专家数据。两大来源（笔记）：合成数据（量大，但外观/物理差异 → 需要域随机化）与遥操作数据（真/虚拟场景采集，减少差异，但代价高昂）。

机器人演示采集：遥操作

特斯拉使用的遥操作系统；斯坦福ALOHA系统。

四倍速遥操作；改进夹爪响应性。

Abramson, Norman：《ALOHA系统：计算机通信的另一种选择》，1970年11月17—19日秋季联合计算机会议论文集，1970。

对照原课件第48页与完整中文翻译 →

课件还展示了特斯拉 Optimus 的电池分拣遥操演示（p49），以及 Human-in-the-Loop IL（Mandlekar et al., 2020）——人在回路中远程干预，把失败状态的纠正动作也变成训练数据（正是 DAgger 思想的工程化）。

7部分观测与因果混淆

现实世界通常只能获得部分观测，$\pi(a_t|o_t)$ 会面对「相同观测、不同正确动作」的一对多映射。经典的例子：司机超车依赖几秒前看到的后视镜信息——当前观测里那辆车已经不在视野中。

自然解法：引入历史信息 $\pi(a_t | o_{t-k}, \dots, o_t)$，用 RNN 或 Transformer 实现。但带来两个新问题（笔记）：

1. 过拟合：输入维度大增，模型容易学到虚假关联（spurious correlations）；
2. 因果混淆（Causal Confusion）：把相关性误当因果——自动驾驶数据中，每次踩刹车都伴随「前方有行人（因）+ 刹车灯亮（果）」。模型若只学到「刹车灯亮 → 踩刹车」的关联，就会在「有行人但刹车灯没亮」时撞上去。历史信息让输入维度更高、虚假关联更多，加剧这个风险。

8多峰行为：对动作分布建模

第 5-7 章讨论过的多解问题，也会出现在策略学习中：同一个状态可能有多种同样合理的动作（避障时左绕右绕都可以）。BC 用 MLP 直接回归会输出「平均动作」——

「开车避障时，你可以左打方向盘或右打方向盘，但模型为了降低 Loss 会输出平均值——啥都不动，直直撞上去。」（笔记中的例子）

多任务学习

πθ(a|s)：到达p₁的策略。

πθ(a|s,p)：到达任意p的策略；p₁、p₂、p₃。

中文翻译

推理

种子点提议：点云P（N×3）→ ResUNet14编码器 / 解码器 → 局部特征N×C → 可抓取性多层感知机 → 可抓取性GS（N×1）与物体性O（N×2）；可抓取性前1%、最远点采样；种子特征f_s（M×C）。

抓取位姿生成：条件生成；扩散；g_E¹ → v_θ → g_E⁰；GS_E：12维，R：3×3，奇异值分解SVD；关节多层感知机 → θ：16维 → 抓取位姿g_r。

训练

真值可抓取性GS^gt、物体性O^gt、抓取g(T,R,θ)^gt；点云P（N×3）→ ResUNet14编码器 / 解码器 → 可抓取性多层感知机；对应点P_correspond；扩散的时间t、g_Eᵗ、g_E⁰及预测v_θ和真值v_gt；关节多层感知机。

总损失：$L=\lambda_oL_o+\lambda_gL_g+\lambda_dL_d+\lambda_\theta L_\theta$。

解法：显式建模动作分布 $\pi(a|s)$，四种方案：

案例研究：使用CVAE进行模仿

z：风格变量；Transformer编码器；[CLS]、关节、动作序列＋位置嵌入。

相机1—4；480×640×3；CNN；Transformer编码器；相机1、相机4、关节、z；Transformer解码器；动作序列；位置嵌入（固定）。

Zhao等：《用低成本硬件学习精细双臂操作》，2023。

对照原课件第64页与完整中文翻译 →

基于扩散的策略

Diffusion Policy：扩散策略

通过动作扩散学习视觉运动策略。

（a）显式策略：$F_\theta(o)$；动作表示；标量（回归）、高斯混合、分类。

（b）隐式策略：$\arg\min(E)$，$E_\theta(o,a)$；能量；o、a。

（c）扩散策略：$\nabla E(a)$，$\epsilon_\theta(o,a)$；K次迭代；梯度场；o、a。

本文介绍扩散策略：一种通过条件去噪扩散过程表示机器人视觉运动策略、从而生成机器人行为的新方法。我们在4个机器人操作基准的12项不同任务上评测扩散策略，发现其持续优于现有最先进机器人学习方法，平均提升46.9%。扩散策略学习动作分布分数函数的梯度，并在推理时通过一系列随机朗之万动力学步骤沿此梯度场迭代优化。我们发现，扩散表述用于机器人策略时具有多项优势，包括平稳处理多峰动作分布、适合高维动作空间以及表现出良好训练稳定性。为充分释放扩散模型在实体机器人视觉运动策略学习中的潜力，本文提出一组关键技术贡献，包括引入滚动时域控制、视觉条件化以及时间序列扩散Transformer。我们希望这项工作推动新一代策略学习技术，利用扩散模型强大的生成建模能力。

https://diffusion-policy.cs.columbia.edu/

对照原课件第66页与完整中文翻译 →

中文翻译

生成对抗网络（GAN）：对抗训练。

x′、x → 判别器D(x) → 0/1；z → 生成器G(z) → x′。

变分自编码器（VAE）：最大化变分下界。

x → 编码器qφ(z|x) → z → 解码器pθ(x|z) → x′。

基于流的模型：分布的可逆变换。

x → 流f(x) → z → 逆变换f⁻¹(z) → x′。

扩散模型：逐渐加入高斯噪声，然后反向还原。

x₀ → x₁ → x₂ → …… → z；反向：z → …… → x₂ → x₁ → x₀。

中文翻译

干净样本；p₀(x₀)；x₀、x₁、……、x_T₋₁、x_T；纯噪声；p_T(x_T)～N(0,I)。

9多任务学习与 IL 的局限

专家数据常混合多个任务（导航去不同目的地）。与其每任务训一个策略，不如训目标条件化策略 $\pi(a|s, g)$（课件 p70-71）：

学习很多任务会更容易吗？

多任务学习。

πθ(a|s)：到达p₁的策略。

πθ(a|s,p)：到达任意p的策略；p₁、p₂、p₃。

Where2Act管线。

对照原课件第70页与完整中文翻译 →

• 数据效率：所有任务数据训练共享模型；
• 知识共享：不同任务共享子结构（「从北大无论开车去哪，都得先开出北大东门」）；
• 新风险：目标空间 $g$ 也有分布偏移——测试时遇到没见过的目标，泛化面临考验。

模仿学习的三大局限（笔记总结）

1. 依赖专家数据：大量高质量演示，获取成本高；
2. 缺少主动回报优化：仅复现演示通常难以主动改善任务回报；模型对噪声演示去噪后，也可能优于部分专家样本，因此其表现上限需要结合数据与模型分析；
3. 高动态任务需要充分纠错覆盖：需要精确反馈与快速调整的任务（指尖转笔），可能对误差敏感，有限演示难覆盖扰动；结合闭环反馈、纠错采集和合适控制接口仍可使用模仿学习。

想根据任务回报主动探索改进，就轮到强化学习登场——第 9 章。

10强化学习引言

本节引入强化学习的目标与轨迹分布，帮助衔接第 9 章的策略梯度推导。先区分两个信号：专家动作告诉机器人“模仿哪一个动作”，奖励告诉机器人“当前行为带来多好结果”。

强化学习导论

什么是强化学习？

对照原课件第74页与完整中文翻译 →

RL 与监督学习的本质区别（课件 p76）：监督学习学「答案是什么」（数据带标签）；RL 学「怎样做更好」（只有奖励信号，且可能延迟、稀疏）。

RL 的目标：学习策略 $\pi_\theta$，最大化轨迹 $\tau = (s_1, a_1, s_2, \dots)$ 上的累积奖励期望：

$$ \theta^* = \arg\max_\theta \mathbb{E}_{\tau \sim p_\theta(\tau)}\left[\sum_t r(s_t, a_t)\right], \qquad p_\theta(\tau) = p(s_1)\prod_{t=1}^T \pi_\theta(a_t|s_t)\,p(s_{t+1}|s_t, a_t) $$

• 有限时间界：最大化固定 $T$ 步内总奖励期望（$\sum_{t=1}^T \mathbb{E}[r(s_t,a_t)]$，$p_\theta(s_t,a_t)$ 是 $t$ 时刻的访问边际分布）；
• 无限时域：可以研究折扣总回报，也可以研究长期平均奖励。后者需要确认平稳分布的存在性、唯一性，以及相应极限是否成立；
• 关键性质：即使奖励函数不平滑，在策略可微、可交换微分与期望等正则条件下，期望奖励可对 $\theta$ 求导——这让梯度优化成为可能。这正是第 9 章策略梯度（Policy Gradient）的立足点。

与最大似然比较

策略梯度：

$\nabla_\theta J(\theta)\approx\frac1N\sum_{i=1}^N(\sum_{t=1}^T\nabla_\theta\log\pi_\theta(a_{i,t}\mid s_{i,t}))(\sum_{t=1}^T r(s_{i,t},a_{i,t}))$。

最大似然：

$\nabla_\theta J_{ML}(\theta)\approx\frac1N\sum_{i=1}^N(\sum_{t=1}^T\nabla_\theta\log\pi_\theta(a_{i,t}\mid s_{i,t}))$。

sₜ、aₜ → 训练数据 → 监督学习 → πθ(aₜ|sₜ)。

对照原课件第99页与完整中文翻译 →

11本章小结

12动手实践

本章没有原版作业（作业 3 在第 9 章），但 Distribution Shift 值得亲手观察一次——这个实验用 少量 NumPy 代码展示训练覆盖不足对闭环行为的影响。

练习 1：复现 BC 的 Distribution Shift（30 分钟）

环境：一辆小车在 1D 轨道上，专家策略让它朝目标 $x=10$ 匀速前进。用 BC 学到的策略闭环执行，观察误差如何滚雪球：

import numpy as np

# 环境：x' = x + a（动作就是速度）
def expert_policy(x):
    return 1.0 if x < 10 else 0.0

# 只收集 [0,1] 内的单步专家标注；不采集完整轨迹
np.random.seed(0)
data = []
for _ in range(20):
    x = np.random.uniform(0, 1)
    data.append((x, expert_policy(x)))
xs = np.array([d[0] for d in data])[:, None]
ys = np.array([d[1] for d in data])

# BC：最小二乘拟合线性策略（专家数据只覆盖 x∈[0,1] 附近！）
W = np.linalg.lstsq(np.hstack([xs, np.ones_like(xs)]), ys, rcond=None)[0]
bc = lambda x: W[0]*x + W[1]

# 闭环执行：从 x=0.5 出发，观察轨迹
x = 0.5; traj = [x]
for t in range(15):
    x += bc(x); traj.append(x)
print("BC 闭环轨迹终点:", np.round(traj[-1], 2), "（起点0.5、15步：专家终点为10.5）")
print("轨迹:", np.round(traj, 2))
print("训练状态范围:", xs.min(), xs.max())
print("训练MSE:", np.mean((xs[:,0]*W[0]+W[1]-ys)**2))
x_expert = 0.5
for _ in range(15): x_expert += expert_policy(x_expert)
print("专家闭环终点:", x_expert)

观察：训练状态确实只在 $[0,1]$ 内，训练 MSE 接近零，BC 却在闭环中继续向前，终点约为 15.5；专家到 10.5 后停止。训练数据未包含停止区域，评估时应把闭环轨迹与训练状态覆盖范围一起检查。挑战：用 DAgger 收集新状态的专家标注，并检查线性策略能否表示停止阈值；必要时选择更合适的模型，再比较闭环结果。

练习 2：多峰行为的平均陷阱（15 分钟）

# 专家在 x=0 处：一半概率 a=-1（左绕），一半概率 a=+1（右绕）
np.random.seed(1)
N = 1000
a_true = np.where(np.random.rand(N) < 0.5, -1.0, 1.0)
# 用「最小 MSE 估计」拟合单一动作（等价于 BC 回归）
a_bc = a_true.mean()
print("专家的两个峰: {-1, +1}，BC 预测:", np.round(a_bc, 3), "→ 若两侧绕行，中间动作可能不安全")

理解检查

当前相机图像相同，机器人运动速度不同，正确动作能否不同？（能，观测可能不充分。）DAgger 新标签来自谁？（专家对学生所到状态给出纠错动作。）多峰动作的均值一定可执行吗？（不一定。）

先遮住括号中的答案，用本章符号和一个具体例子说明理由。遇到疑问时，对照相应节的模型假设检查自己的推理。

附A术语表

附B课件 105 页完整索引

原版 Lecture 8 课件共 105 页（GitHub 原文件）。下表逐页列出内容及在本教程中的位置：

附C参考资源

• 课程官网：pku-epic.github.io/Intro2EAI_2025
• 本教程素材来源仓库：zhuozhiyongde/Embodied-Artificial-Intelligence-2025Spring-PKU
• 本章课件：Slides/Lecture08_04_07.pdf（105 页）
• 本章笔记原文：Notes/08-Policy-I.md

延伸阅读

• Berkeley CS285（Deep RL，本讲课件的借鉴来源）
• 《动手学强化学习》（hrl.boyuai.com，笔记作者推荐）
• Zhao et al., Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ALOHA), 2023
• Diffusion Policy 官网：diffusion-policy.cs.columbia.edu
• Mandlekar et al., Human-in-the-Loop Imitation Learning, arXiv 2020