Lecture 2 · 从行为克隆到 DAgger
先看清这一讲在做什么 本讲主题：Supervised Learning of Behaviors（行为的监督学习）。 从监督学习走到 BC，再追问训练与执行分布为什么不同。量化时先定义错误，得到单步犯错率，再写出整条轨迹的期望总错误；随后统一分解“此前无错／曾经出错”，先比较分布，再拆解错误。 ...
CS285
Lecture 5 · 从期望回报到策略梯度
先看清这一讲在做什么 本讲主题：Policy Gradients（策略梯度）。Lecture 2 用专家动作当标签；这一讲只有策略自己采到的轨迹与奖励，要找到参数朝哪个方向移动，才能提高期望回报。 ...
Lecture 6 · 从回报估计到 Actor-Critic 与 GAE
先看清这一讲在做什么 Lecture 5 已给出策略梯度，但乘上的 reward-to-go 只是一次随机 rollout。Lecture 6 接着问：能否更好地估计这个乘子？ 先整体看 REINFORCE 的采样—回报—梯度—更新循环，再定位噪声来自哪。 ...
Lecture 9 · 从旧样本复用到 PPO
先看清这一讲在做什么 Lecture 5 解决“怎样从奖励得到策略梯度”；Lecture 9 接着问：“一批采来的轨迹，能不能多用几次？” 参数一更新，策略会改变动作分布，也会改变后续状态分布。旧数据仍有价值，但不能直接当作新策略采出的数据。 ...
Lecture 10 · 从策略改进界到 PPO-KL 与 TRPO
先看清这一讲在做什么 Lecture 9 让一批样本能更新多次；Lecture 10 解释，这种更新为什么要限制策略变化。 上一讲的代理目标使用旧策略的优势和旧策略访问的状态。本讲分别给它们找依据，再把“别改太多”写成可执行的优化问题。 ...
Lecture 14 · 从奖励学习到语言模型强化学习
先看清这一讲在做什么 Lecture 14 把前几讲的策略梯度工具搬到序列与语言模型，并补上“奖励从哪里来”。 先把生成回答、打分、冻结采样策略、反复更新的完整循环放在一个框里，旁边列出全部步骤公式，再指出其中三个要填的量：reward、baseline、regularizer。 ...