Lecture 6 · 从回报估计到 Actor-Critic 与 GAE
先看清这一讲在做什么 Lecture 5 已给出策略梯度，但乘上的 reward-to-go 只是一次随机 rollout。Lecture 6 接着问：能否更好地估计这个乘子？ 先整体看 REINFORCE 的采样—回报—梯度—更新循环，再定位噪声来自哪。 ...
先看清这一讲在做什么 Lecture 5 已给出策略梯度，但乘上的 reward-to-go 只是一次随机 rollout。Lecture 6 接着问：能否更好地估计这个乘子？ 先整体看 REINFORCE 的采样—回报—梯度—更新循环，再定位噪声来自哪。 ...