策略学习 II：强化学习与 Actor-Critic

1从模仿学习到强化学习

第 8 章结尾总结了 IL 的三大局限：依赖专家数据、缺少直接回报优化、纠错数据覆盖不足。标准 BC 拟合固定专家数据，学习范围受演示覆盖限制。补采、干预或 DAgger 可以增加训练数据，帮助策略学习分布外状态（OOD）下的动作。

强化学习也可以使用固定数据集，这称为离线强化学习（Offline RL）。它与 BC 的区别在于，还会利用奖励信号优化决策。

2RL 的目标函数

RL 的目标：找到策略参数 $\theta^*$，最大化该策略下轨迹的期望回报：

$$ J(\theta) = \mathbb{E}_{\tau \sim p_\theta(\tau)} [R(\tau)] = \mathbb{E}_{\tau \sim p_\theta(\tau)} \left[ \sum_{t=0}^{T-1} r(s_t, a_t) \right] $$

其中 $p_\theta(\tau) = p(s_0)\prod_{t=0}^{T-1}\pi_\theta(a_t|s_t)\,p(s_{t+1}|s_t,a_t)$——轨迹分布由策略和环境共同决定。策略或环境可以有随机性，单条轨迹的回报不同，所以我们优化期望。本课程主要关注有限时间步（finite horizon）。

直接优化 $J(\theta)$ 很难——期望涉及对所有可能轨迹的积分/求和，连续高维空间无法处理。解法是蒙特卡洛 + 梯度，这正是下一节的内容。

3策略梯度定理

三步推导：

3.1 蒙特卡洛近似

用当前策略采样 $N$ 条轨迹，平均回报近似期望：

$$ J(\theta) \approx \frac{1}{N}\sum_{i=1}^{N} R(\tau^{(i)}) $$

但为了梯度上升，我们需要 $\nabla_\theta J(\theta)$——而对 MC 近似形式直接求梯度很难，因为轨迹生成过程本身依赖 $\theta$。

3.2 对数导数技巧

从期望定义出发，交换梯度与积分：$\nabla_\theta J(\theta) = \int \nabla_\theta p_\theta(\tau) R(\tau)\,\mathrm{d}\tau$。关键引理：

$$ \nabla_\theta p_\theta(x) = p_\theta(x)\, \nabla_\theta \log p_\theta(x) $$

（证明只需链式法则：$\nabla_\theta\log p_\theta(x) = \frac{1}{p_\theta(x)}\nabla_\theta p_\theta(x)$，两边乘 $p_\theta(x)$。）代入得：

$$ \nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim p_\theta(\tau)} \left[ \nabla_\theta \log p_\theta(\tau)\, R(\tau) \right] $$

3.3 参数独立的环境项消失

展开 $\log p_\theta(\tau) = \log p(s_0) + \sum_t [\log\pi_\theta(a_t|s_t) + \log p(s_{t+1}|s_t,a_t)]$ 并对 $\theta$ 求导：初始状态分布与状态转移概率都与 $\theta$ 无关，两项梯度为 0。最终：

$$ \nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim p_\theta(\tau)} \left[ \left( \sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(a_t | s_t) \right) R(\tau) \right] $$

这就是策略梯度定理。MC 估计（$\hat{g}$）用 $N$ 条采样轨迹实现它。

顺带引入两个重要概念（笔记）：

• Model-Free：不需要知道（甚至学习）环境模型，只需与环境交互采样——本课程的主要设定（仿真采样时，同样需要定义初始分布、任务和终止条件）；
• Model-Based：利用已有或学习的环境模型规划/生成模拟数据；真实世界学习可选择有模型、无模型或混合方法。

4REINFORCE 与 PG vs BC

REINFORCE 算法四步循环：① 用当前 $\pi_\theta$ 采样 $N$ 条轨迹；② 计算每条轨迹的总回报 $R(\tau^{(i)})$；③ 计算梯度估计 $\hat{g}$；④ 梯度上升更新 $\theta \leftarrow \theta + \alpha\hat{g}$。

直观意义：按照回报加权提高采样动作的相对概率；使用适当基线后，正优势与负优势分别鼓励和抑制动作；更新幅度由整条轨迹回报加权。

PG vs BC：两种不同目标的对比

与最大似然比较

策略梯度：

$\nabla_\theta J(\theta)\approx\frac1N\sum_{i=1}^N(\sum_{t=1}^T\nabla_\theta\log\pi_\theta(a_{i,t}\mid s_{i,t}))(\sum_{t=1}^T r(s_{i,t},a_{i,t}))$。

最大似然：

$\nabla_\theta J_{ML}(\theta)\approx\frac1N\sum_{i=1}^N(\sum_{t=1}^T\nabla_\theta\log\pi_\theta(a_{i,t}\mid s_{i,t}))$。

sₜ、aₜ → 训练数据 → 监督学习 → πθ(aₜ|sₜ)。

对照原课件第13页与完整中文翻译 →

BC 与 PG 的梯度形式相似，但数据分布和目标不同：BC 在固定专家数据上最大化动作似然，PG 在当前策略轨迹上用回报加权。若 on-policy 回报恒为 1，期望 score 梯度为零；BC 的梯度则由专家样本的动作似然决定。覆盖不足时，BC 难以学会所有纠错动作；RL 则通过环境交互获取回报信号。

5PG 的挑战：高方差与样本效率

5.1 高方差

MC 用 $N$ 条轨迹估计梯度，但环境和策略的随机性使单条轨迹回报波动巨大；长时序（大 $T$）任务轨迹空间极大，有限样本远不足以精确估计。结果：梯度噪声大、训练不稳定、收敛慢、甚至发散——即使超参数相同，仅因采样不同，多次训练结果差异巨大。

基线

一个方便的恒等式

$p_\theta(\tau)\nabla_\theta\log p_\theta(\tau)=\nabla_\theta p_\theta(\tau)$。

基线

$\nabla_\theta J(\theta)\approx\frac1N\sum_{i=1}^N\nabla_\theta\log p_\theta(\tau_i)(r(\tau_i)-b)$；$b=\frac1N\sum_i r(\tau_i)$。

但是……允许这样做吗？？

$\mathbb E[\nabla_\theta\log p_\theta(\tau)b]=\int p_\theta(\tau)\nabla_\theta\log p_\theta(\tau)b\,d\tau=\int\nabla_\theta p_\theta(\tau)b\,d\tau=b\nabla_\theta\int p_\theta(\tau)d\tau=b\nabla_\theta1=0$。

减去一个基线，在期望意义上是无偏的！

平均奖励并不是最好的基线，但已经相当不错！

对照原课件第21页与完整中文翻译 →

5.2 样本效率低与 On/Off-Policy

REINFORCE 是 On-Policy：梯度必须由当前策略生成的轨迹计算——参数更新后，旧数据不再严格服从当前策略；若继续使用，须控制分布变化或作相应校正。每次迭代都要重新采样，样本复杂度极高。

本节的典型训练示例持续交互，属于在线学习；但 On/Off-Policy 与在线/离线是不同分类轴，Off-Policy 也可使用固定离线数据。

5.3 高斯策略（连续动作的标准选择）

连续动作空间里，策略通常输出高斯分布的均值：$\pi_\theta(a_t|s_t) = \mathcal{N}(a_t;\mu_\theta(s_t), \Sigma)$。其对数似然梯度是：

$$ \nabla_\theta \log \pi_\theta(a_t|s_t) = \left(\frac{\partial \mu_\theta(s_t)}{\partial \theta}\right)^{\top} \Sigma^{-1} (a_t - \mu_\theta(s_t)) $$

（此式假设协方差 Σ 固定且正定；若 $\Sigma=\sigma^2I$，均值梯度对应平方误差方向；学习方差时还须添加方差参数的导数。）一个漂亮的结构：梯度 = 均值函数梯度 × 加权「误差向量」，也就是在误差方向上调整均值。

6降方差：Reward-to-Go 与 Baseline

6.1 Reward-to-Go：未来不影响过去

$t$ 时刻的动作 $a_t$ 只能影响 $t$ 及以后的奖励。REINFORCE 用总回报 $R(\tau)$ 加权，把与当前决策无关的过去奖励也算了进去——纯噪声。改进：只用 Reward-to-Go：

$$ \hat{Q}(s_t, a_t) = \sum_{t'=t}^{T-1} r(s_{t'}, a_{t'}) $$

仍然是 $\nabla_\theta J$ 的无偏估计，且方差通常更低。

6.2 Baseline：动作无关的控制变量

另一个问题：有限样本PG的方差会受奖励尺度和偏移影响；理想期望梯度不受动作无关常数偏移影响。若所有轨迹回报都为正（哪怕有好有坏），所有动作都会被「鼓励」。我们想要的是相对比较：比平均好的鼓励、比平均差的抑制。解法：减去只依赖状态、不依赖动作的基线 $b(s_t)$：

$$ \nabla_\theta J(\theta) = \mathbb{E}\left[ \sum_t \nabla_\theta \log \pi_\theta(a_t|s_t) (\hat{Q}(s_t,a_t) - b(s_t)) \right] $$

实践中常用采样均值基线 $b = \frac{1}{N}\sum_i R(\tau^{(i)})$（或用平均 Reward-to-Go）。使用采样均值时，要检查其中是否包含当前样本自身的回报；若包含，i.i.d. 轨迹标量情形会将梯度缩放为 $1-1/N$。可用独立数据或留一均值避免这种有限样本偏差。最优基线（笔记推导）：$b^* = \frac{\mathbb{E}[(\nabla_\theta\log p_\theta(\tau))^2 R(\tau)]}{\mathbb{E}[(\nabla_\theta\log p_\theta(\tau))^2]}$——按梯度幅值平方加权的回报期望，通常难以计算。对于向量梯度，“平方”应理解为所选方差准则下的梯度范数平方，例如最小化总方差时使用 $\|\nabla_\theta\log p_\theta(\tau)\|^2$。

7价值函数与优势函数

常用的基线是状态价值函数，它会随当前状态变化——「这个状态本身值多少」：

本节推广到折扣有限时域目标 $J_\gamma(\theta)=\mathbb{E}_\tau[\sum_{t=0}^{T-1}\gamma^t r_t]$，$\gamma=1$ 时回到前文。状态约定包含剩余时间，终态 $V(s_T)=0$，因此 $V/Q$ 也反映当前时刻。

折扣因子 $\gamma \in [0,1)$ 的三重作用：① 在奖励有界时保证无限时域累计折扣回报有限；② 表达对即时奖励的偏好；③ 隐式鼓励尽早完成任务（越晚的奖励折扣越多）。

用 $V$ 做基线后，权重变为优势函数估计：

$$ \hat{A}(s_t, a_t) = r(s_t,a_t) + \gamma\hat{V}(s_{t+1}) - \hat{V}(s_t) $$

$\hat{A} > 0$：动作比平均好 → 增加其概率；$\hat{A} < 0$：降低概率。策略梯度的最终形态：

$$ \nabla_\theta J_\gamma(\theta) = \mathbb{E}_{\tau\sim p_\theta}\left[\sum_{t=0}^{T-1}\gamma^t \nabla_\theta \log \pi_\theta(a_t|s_t)\, A^{\pi_\theta}(s_t,a_t)\right] $$

如何估计 $V(s_t)$？

• 蒙特卡洛：所有经过 $s_t$ 的样本的平均 Reward-to-Go；
• 神经网络（Critic）：$\hat{V}_\phi(s)$ 监督学习，数据集 $\mathcal{D} = \{(s_{i,t},\ r_{i,t} + \gamma\hat{V}_\phi(s_{i,t+1}))\}$——注意目标里用了函数自身的估计，这叫自举（Bootstrap）。形象的比喻（笔记）：「在河里拽自己的鞋带把自己拽起来」。

8Actor-Critic

把「用神经网络估计 V」与策略梯度结合，就是 Actor-Critic：

行动者—评价者算法

行动者—评价者算法

1. 用当前策略$\pi_\theta(a\mid s)$采样$\{s_i,a_i\}$。
2. 用采样得到的奖励和拟合$\hat V^\pi_\phi(s)$。
3. 评估$\hat A^\pi(s_i,a_i)=r(s_i,a_i)+\hat V^\pi_\phi(s_i\prime)-\hat V^\pi_\phi(s_i)$。
4. 评估$\nabla_\theta J(\theta)\approx\sum_i\nabla_\theta\log\pi_\theta(a_i\mid s_i)\hat A^\pi(s_i,a_i)$。
5. 更新$\theta\leftarrow\theta+\alpha\nabla_\theta J(\theta)$。

$y_{i,t}=\sum_{t\prime=t}^Tr(s_{i,t\prime},a_{i,t\prime})$。

$L(\phi)=\frac12\sum_i\|\hat V^\pi_\phi(s_i)-y_i\|^2$。

$V^\pi(s_t)=\sum_{t\prime=t}^T\mathbb E_\pi[r(s_{t\prime},a_{t\prime})\mid s_t]=\mathbb E_{a_t\sim\pi(a_t\mid s_t)}[Q^\pi(s_t,a_t)]$。

s → V̂πφ(s)。参数：φ。

生成样本（即执行策略） → 拟合模型以估计回报 → 改进策略。

对照原课件第41页与完整中文翻译 →

• Actor（演员）：策略网络 $\pi_\theta(a|s)$，负责决策；
• Critic（评论家）：价值网络 $V_\phi(s)$（或 $Q_\phi(s,a)$），负责评估「状态/动作有多好」；
• 推理时只用 Actor，Critic 是训练期的「教练」。

Batch vs Online

架构选择（笔记配图）：分离网络（简单稳定，无特征共享）vs 共享网络（参数效率高，训练复杂）。实践上 Online AC 也常并行化：多个 worker 同时采集经验，同步（Sync，受限于最慢 worker）或异步（Async，更快）——A3C 就是异步并行 AC。

中文翻译

同步并行行动者—评价者

获取(s,a,s′,r)；更新θ；获取(s,a,s′,r)；更新θ。t。

异步并行行动者—评价者

θ；t。

GAE：在 MC 与 TD 之间插值

完整轨迹的 MC 回报在对应采样与终止假设下无偏，但常有高方差。TD(0) 用价值估计自举，常降低方差；价值估计误差会带来偏差。准确价值函数下，TD 残差的条件期望可等于真实优势。广义优势估计（GAE, Schulman et al. '16）用指数衰减 $\lambda$ 把 1-step、2-step、…、n-step 回报加权混合——「Cut everywhere all at once」：

广义优势估计

$\hat A^{\pi,(n)}(s_t,a_t)=\sum_{t\prime=t}^{t+n}\gamma^{t\prime-t}r(s_{t\prime},a_{t\prime})+\gamma^n\hat V^\pi_\phi(s_{t+n})-\hat V^\pi_\phi(s_t)$。

一定要只选择一个n吗？

同时在每个位置截断！

$\hat A^\pi_{GAE}(s_t,a_t)=\sum_{n=1}^\infty w_n\hat A^{\pi,(n)}(s_t,a_t)$。

n步回报的加权组合。

如何加权？更偏好较早截断（方差更小）。指数衰减。

$w_n\propto\lambda^{n-1}$。

$\hat A^\pi_{GAE}(s_t,a_t)=r(s_t,a_t)+\gamma((1-\lambda)\hat V^\pi_\phi(s_{t+1})+\lambda(r(s_{t+1},a_{t+1})+\gamma((1-\lambda)\hat V^\pi_\phi(s_{t+2})+\lambda(r(s_{t+2},a_{t+2})+\cdots))))$。

$\hat A^\pi_{GAE}(s_t,a_t)=\sum_{t\prime=t}^\infty(\gamma\lambda)^{t\prime-t}\delta_{t\prime}$；$\delta_t=r(s_t,a_t)+\gamma\hat V^\pi_\phi(s_{t+1})-\hat V^\pi_\phi(s_t)$。

效果与折扣相似！还记得这个吗？

$\nabla_\theta J(\theta)\approx\frac1N\sum_i\sum_t\nabla_\theta\log\pi_\theta(a_{i,t}\mid s_{i,t})\left(\sum_{t\prime=t}^T\gamma^{t\prime-t}r(s_{i,t\prime},a_{i,t\prime})\right)$。

折扣＝降低方差！

Schulman、Moritz、Levine、Jordan、Abbeel，2016。

对照原课件第59页与完整中文翻译 →

$\lambda$ 是 bias-variance 权衡旋钮：$\lambda \to 0$ 更偏 TD（低方差高偏差），$\lambda\to1$ 更接近 MC；完整真实终止且末端价值为零时 GAE 回报化为 MC 回报减基线，若人为截断并自举，则仍受末端估计误差影响。GAE 后来成了 PPO 的标配组件。

中文翻译

两个网络的设计

$s\to\hat V_\phi^\pi(s)$；$s\to\pi_\theta(a\mid s)$。

优点：简单、稳定。缺点：行动者与评价者不共享特征。

共享网络的设计

$s\to\hat V_\phi^\pi(s),\pi_\theta(a\mid s)$。

9PPO：机器人学习中常用的 PPO

读公式时区分两个 r：本节用 $r_t$ 表示概率比，用 $r(s_t,a_t)$ 表示环境奖励。PPO（Proximal Policy Optimization，近端策略优化）一般使用旧策略近期采集的固定批次，多轮小批量优化后重新采样；它通常仍被归为 on-policy。ε=0.2 时裁剪区间为 [0.8,1.2]，这个区间用于计算代理目标；实际概率比仍可能超出区间。

优势估计、更新轮数、学习率和策略 KL 的监测共同影响稳定性。使用归一化和初始化技巧时，仍需核对算法假设，并监测策略 KL 与真实回报。裁剪本身不保证真实回报单调提升。

普通同策略PG通常每轮采集新数据，交互成本较高。Off-Policy（重要性采样）理论上可复用旧数据，但新旧策略分布偏离过大时，代理更新可能使性能退化甚至训练失稳（课件 p71：policy 采到坏动作 → 学得更差 → 恶性循环）。TRPO 的直觉：每次更新别让策略变化太大（KL 约束）；PPO 用一阶优化配合裁剪或KL惩罚抑制过大策略变化；这种方式与 TRPO 的硬 KL 约束有所不同（课件 p73-76）：

$$ L^{\text{CLIP}} = \mathbb{E}_t\left[ \min\left( r_t A_t,\ \text{clip}(r_t, 1-\epsilon, 1+\epsilon)\,A_t \right) \right], \qquad r_t = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)} $$

PPO——剪裁代理目标

$r_t(\theta)=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\theta_{old}}(a_t\mid s_t)}$；$L^{CPI}(\theta)=\hat{\mathbb E}_t[r_t(\theta)\hat A_t]$；$L^{CLIP}(\theta)=\hat{\mathbb E}_t[\min(r_t(\theta)\hat A_t,\operatorname{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\hat A_t)]$。

Â>0；Â<0。横轴：r。纵轴：L。1−ε；1；1+ε。

对照原课件第74页与完整中文翻译 →

两条约束路线：Clipped Surrogate（裁剪代理目标）与 Adaptive KL penalty（软约束）。实验结论（课件 p77）：在展示的实验中，裁剪配置取得较好结果；比较应结合其参数和基准。

PPO——实验

• 实验1：剪裁与自适应KL。
  • 剪裁 > 自适应KL > 固定KL > 基准。

算法	平均归一化得分
无剪裁或惩罚	−0.39
剪裁，ε＝0.1	0.76
剪裁，ε＝0.2	0.82
剪裁，ε＝0.3	0.70
自适应KL，dₜₐᵣɡ＝0.003	0.68
自适应KL，dₜₐᵣɡ＝0.01	0.74
自适应KL，dₜₐᵣɡ＝0.03	0.71
固定KL，β＝0.3	0.62
固定KL，β＝1	0.71
固定KL，β＝3	0.72
固定KL，β＝10	0.69

对照原课件第77页与完整中文翻译 →

实现 Tricks（课件 p80-83，引用 ICLR 2020《Implementation Matters in Deep Policy Gradients》）：

• 更新轮数 K 不宜过大（原始论文 RoboschoolHumanoidFlagrun 用 K=15）；Minibatch：每轮把 buffer 分小批更新；
• 优势归一化：minibatch 内归一化，$V$ 估计不准时帮助中心化到 0；状态归一化：维护各维 running mean；
• 正交初始化：原课件引用的实现研究发现其有利，效果依网络与任务而定；
• 总损失 = 策略损失 + 价值损失（MSE）+ 熵奖励（鼓励探索）。

强化学习算法的分类

• 强化学习算法。
  • 无模型强化学习。
    • 策略优化：策略梯度、A2C／A3C、PPO、TRPO；DDPG、TD3、SAC。
    • Q学习：DDPG、TD3、SAC；DQN、C51、QR-DQN、HER。
  • 基于模型的强化学习。
    • 学习模型：世界模型（World Models）、I2A、MBMF、MBVE。
    • 给定模型：AlphaZero。

参考：https://spinningup.openai.com/en/latest/index.html

对照原课件第85页与完整中文翻译 →

10本章小结

11动手实践：作业 3 · PPO 与四足机器人

本章配套北大原版作业 3：让四足机器人「站起来、走起来」。三个部分：纯 numpy 的 PPO 组件 + 两个奖励函数设计。

代码位置：Homeworks/03-RL-Robot-Control/（含完整代码与训练视频）。

11.1 任务总览

11.2 环境搭建

conda create -n eai-hw3 python=3.10
conda activate eai-hw3
pip install -r requirements.txt

11.3 Part 1：PPO 优势估计与损失（40%）

完成 hw_py/part1_ppo.py 的 5 个 TODO 函数，每个都有对应的检查函数（check_monte_carlo 等；给定输入通过不等于所有边界情况或完整训练通过）：

# 1) MC 优势：A_t = G_t - V(s_t)，G_t 为折扣回报
def monte_carlo_advantage(rewards, values, gamma=0.99):
    ...

# 2) TD(0) 残差：δ_t = r_t + γV(s_{t+1}) - V(s_t)
def td_residual_advantage(rewards, values, gamma=0.99):
    ...

# 3) GAE：A_t = Σ (γλ)^k · δ_{t+k}，λ 在 MC 与 TD 间插值
def generalized_advantage_estimation(rewards, values, gamma=0.99, lam=0.95):
    ...

# 4) 最小化损失：负 clip 代理目标 - entropy_weight * 分布熵
def compute_policy_loss(ratio, adv, dist_entropy, epsilon=0.2, entropy_weight=0.01):
    ...

# 5) 价值损失：MSE(V_pred, V_target)
def compute_value_loss(values, returns):
    ...

11.4 Part 2：Getup 奖励设计（30%）

在 MyGetupEnv.step 中实现奖励，鼓励机器人：① 达到并保持期望身高；② 姿态稳定（重力方向对齐）；③ 关节角接近默认姿态；④ 身体角速度最小化：

# 四个目标的加权组合，权重需自己调
reward = (w1 * reward_height       # 身体高度接近目标（如 0.35m）
        + w2 * reward_orientation  # 重力向量与身体 z 轴对齐
        + w3 * reward_pose         # 关节角接近默认站姿
        + w4 * reward_ang_vel)     # 角速度惩罚（通常为负）

交付：part2_height_error.png（高度误差 < 0.15）与 part2_video.mp4。奖励工程经验：高度项用高斯形式 $\exp(-(h-h_{target})^2/\sigma^2)$ 比线性更平滑；朝向项可用重力投影；惩罚项系数从 10⁻¹ 量级试起。

11.5 Part 3：Walk 速度跟踪（30%）

只需实现两个项（其余已给好）：

# 线速度跟踪：奖励接近指令速度 v_cmd 的 x/y 分量
tracking_lin_vel = np.exp(-np.linalg.norm(vel_xy - cmd_xy)**2 / 0.25)
# 角速度跟踪：奖励接近指令 yaw rate
tracking_ang_vel = np.exp(-(yaw_rate - cmd_yaw)**2 / 0.25)

交付：part3_LinVel_error.png（误差 < 0.15）与 part3_video.mp4。

理解检查

为什么固定环境转移在求导时消失？（它不依赖策略参数。）回报恒为1时 on-policy score 的期望是多少？（0。）PPO clip 是否硬限制所有概率比？（否。）采集片段截断时是否必须置末端价值为0？（否，应区分真实终止。）

先遮住括号中的答案，用本章符号和一个具体例子说明理由。遇到疑问时，对照相应节的模型假设检查自己的推理。

附A术语表

附B课件 87 页完整索引

原版 Lecture 9 课件共 87 页（GitHub 原文件）。下表逐页列出内容及在本教程中的位置：

附C参考资源

• 课程官网：pku-epic.github.io/Intro2EAI_2025
• 本教程素材来源仓库：zhuozhiyongde/Embodied-Artificial-Intelligence-2025Spring-PKU
• 本章课件：Slides/Lecture09_04_14.pdf（87 页）
• 本章笔记原文：Notes/09-Policy-II.md
• 本章作业：Homeworks/03-RL-Robot-Control/

延伸阅读

• OpenAI Spinning Up（spinningup.openai.com）：RL 入门首选
• Schulman et al., High-Dimensional Continuous Control Using GAE, 2016
• Schulman et al., PPO, 2017；Engstrom et al., Implementation Matters in Deep Policy Gradients, ICLR 2020
• PPO 实现细节：ICLR Blog Track（iclr-blog-track.github.io/2022/03/25/ppo-implementation-details）
• Berkeley CS285（课件借鉴来源，含课程录像）