观察世界 · 理解身体 · 学会行动

北京大学《具身智能导论》自学教程

本教程基于北京大学2025春季《具身智能导论》(Introduction to Embodied AI)课程,使用 GitHub 项目 zhuozhiyongde/Embodied-Artificial-Intelligence-2025Spring-PKU 整理的课件、笔记与作业。课程信息见北京大学课程官网。

感谢课程负责人王鹤老师及授课团队,感谢原始课件、笔记、作业和引用资料的作者,也感谢 zhuozhiyongde 与源项目贡献者的整理和分享。这些开放的学习材料,是本教程的基础。

为了方便初学者自学,这里加入了十章学习路线、13讲946页课件的完整中文翻译、概念与公式讲解、自测题和基础代码练习,并整理了截至2026年10月4日的技术、政策与产业动态。原始材料、作者署名和引用随教程保留。

本项目由 buildwithamy 整理分享,用于个人学习与交流。查看来源、致谢与许可。

这是一份写给具身智能初学者的中文自学教程。从“机器人怎样知道杯子在哪”,一步步走到“怎样稳稳拿起杯子”,在具体任务中理解坐标变换、感知、规划、控制和学习。

推荐路线

第1章建立概念 → 第2—4章学会描述和控制身体 → 第5—7章让机器人看见并抓取 → 第8—9章学习动作策略 → 第10章理解综合任务。

每章先读直观解释,再看公式与原课件译解,最后做自测和基础代码。第一次遇到长推导,可以先抓住输入、输出与假设,再回来逐步推演。

十章学习地图

第01章 · 概念与入门

具身智能导论

从识别物体到与物理世界交互,建立整门课的概念地图。

观察、动作、VLA、数据;作业1的前置练习

第02章 · 机器人学

刚体变换与坐标系

学会描述机器人、相机和物体之间的位置与朝向。

坐标系、齐次矩阵、正逆运动学、欧拉角、轴角

第03章 · 机器人学

四元数与运动规划入门

用四元数表达和插值旋转,再认识机器人的配置空间。

四元数、双重覆盖、Slerp、随机旋转、配置空间

第04章 · 机器人学

运动规划与PID控制

先找到无碰撞的路径,再让关节跟随期望运动。

碰撞检测、PRM、RRT、轨迹、P/PI/PD/PID

第05章 · 视觉与抓取

抓取原理与旋转回归

把旋转数学用于视觉位姿估计,理解抓取的几何条件。

6D位姿、旋转表示、对应点、实例与类别;作业2

第06章 · 视觉与抓取

ICP配准与抓取稳定性

理解位姿精化、类别级坐标和接触约束。

ICP、NOCS、仿真与真实差异、力闭合与形闭合

第07章 · 视觉与抓取

抓取检测与生成

从场景中寻找可抓的位置,再理解多种合理抓取如何生成。

摩擦锥、GraspNet、VGN、点云、生成式抓取

第08章 · 策略学习

模仿学习与行为克隆

让机器人从示范中学习,并认识分布偏移和部分观测。

MDP/POMDP、BC、DAgger、遥操作、多峰动作

第09章 · 策略学习

强化学习与Actor-Critic

从任务回报推导策略梯度,理解价值函数与PPO。

REINFORCE、基线、优势、Actor-Critic、PPO;作业3

第10章 · 综合应用

机器人任务与前沿

把感知、规划、控制和学习连接到足式运动与操作任务。

MPC/RL、特权学习、灵巧操作、协同作业;作业4

怎样对照英文课件

阅读正文时,可以随时对照原始图片和页号。每张英文课件下方都有完整中文翻译,标题、条目、表格和公式与原页对应。正文中的例子和讲解帮助你理解概念;原文符号、代码和作者姓名也一并保留,方便查找资料。

基础知识与新进展

主线依据2025年的课程材料。技术动态是独立的后续延伸,资料核对日期为2026年10月4日;它把新的机器人模型、记忆机制和训练工具接回本教程的基础概念。