从什么问题出发#
智能体的动作会改变接下来遇到的状态。这门课围绕这个反馈关系，学习怎样从专家示范或与环境的交互中得到策略。
当前阅读入口#
Lecture 2 · 从行为克隆到 DAgger 是第一篇完整学习页：顶部梳理整讲，核心段落用关系图解释证明的分工，下方保留 20 条公式的逐行拆解。
Lecture 5 · 从期望回报到策略梯度 沿目标、轨迹概率、log-trick、REINFORCE、方差缩减与伪损失逐步展开，保留 14 条公式的详细拆解，并收录链式法则精读。
Lecture 6 · 从回报估计到 Actor-Critic 与 GAE 将完整更新循环集中展示，逐步解释 Q/V/A、价值回归、自举、n-step、GAE、replay 与重参数化，保留 21 条公式与关键证明。
Lecture 9 · 从旧样本复用到 PPO 从重要性采样的期望与积分转换出发，展开轨迹权重、因果性、单步局部替代目标和 clip/min，保留原公式编号与四篇卡点精读。
Lecture 10 · 从策略改进界到 PPO-KL 与 TRPO 逐步解释旧优势、状态分布偏移、TV 与 KL，再分叉到惩罚更新与自然梯度；完整算法循环集中展示，保留 20 条公式与数学精读。
Lecture 14 · 从奖励学习到语言模型强化学习 连接 IRL、对抗模仿、LLM 的整段与 token 概率、GAE/GRPO、参考 KL、偏好模型与完整交互历史，保留 22 条公式。
这版笔记怎样读#
先回答“这一讲想解决什么”，再沿图找到当前公式的位置。读完一条公式，要能说出它使用了什么条件、得到了什么结论、下一步为什么需要它。
各讲共用“小节点、旁侧公式、点击逐行拆解”的阅读方式；完整算法循环集中成一个框，旁侧列出全部编号步骤，方便比较改造发生在哪里。
先看清这一讲在做什么 本讲主题：Supervised Learning of Behaviors（行为的监督学习）。
从监督学习走到 BC，再追问训练与执行分布为什么不同。量化时先定义错误，得到单步犯错率，再写出整条轨迹的期望总错误；随后统一分解“此前无错／曾经出错”，先比较分布，再拆解错误。
...
先看清这一讲在做什么 本讲主题：Policy Gradients（策略梯度）。Lecture 2 用专家动作当标签；这一讲只有策略自己采到的轨迹与奖励，要找到参数朝哪个方向移动，才能提高期望回报。
...
先看清这一讲在做什么 Lecture 5 已给出策略梯度，但乘上的 reward-to-go 只是一次随机 rollout。Lecture 6 接着问：能否更好地估计这个乘子？ 先整体看 REINFORCE 的采样—回报—梯度—更新循环，再定位噪声来自哪。
...
先看清这一讲在做什么 Lecture 5 解决“怎样从奖励得到策略梯度”；Lecture 9 接着问：“一批采来的轨迹，能不能多用几次？” 参数一更新，策略会改变动作分布，也会改变后续状态分布。旧数据仍有价值，但不能直接当作新策略采出的数据。
...
先看清这一讲在做什么 Lecture 9 让一批样本能更新多次；Lecture 10 解释，这种更新为什么要限制策略变化。 上一讲的代理目标使用旧策略的优势和旧策略访问的状态。本讲分别给它们找依据，再把“别改太多”写成可执行的优化问题。
...
先看清这一讲在做什么 Lecture 14 把前几讲的策略梯度工具搬到序列与语言模型，并补上“奖励从哪里来”。 先把生成回答、打分、冻结采样策略、反复更新的完整循环放在一个框里，旁边列出全部步骤公式，再指出其中三个要填的量：reward、baseline、regularizer。
...