Lecture 10 · 从策略改进界到 PPO-KL 与 TRPO
先看清这一讲在做什么 Lecture 9 让一批样本能更新多次；Lecture 10 解释，这种更新为什么要限制策略变化。 上一讲的代理目标使用旧策略的优势和旧策略访问的状态。本讲分别给它们找依据，再把“别改太多”写成可执行的优化问题。 ...
先看清这一讲在做什么 Lecture 9 让一批样本能更新多次；Lecture 10 解释，这种更新为什么要限制策略变化。 上一讲的代理目标使用旧策略的优势和旧策略访问的状态。本讲分别给它们找依据，再把“别改太多”写成可执行的优化问题。 ...