Lecture 9 · 从旧样本复用到 PPO
先看清这一讲在做什么 Lecture 5 解决“怎样从奖励得到策略梯度”；Lecture 9 接着问：“一批采来的轨迹，能不能多用几次？” 参数一更新，策略会改变动作分布，也会改变后续状态分布。旧数据仍有价值，但不能直接当作新策略采出的数据。 ...
先看清这一讲在做什么 Lecture 5 解决“怎样从奖励得到策略梯度”；Lecture 9 接着问：“一批采来的轨迹，能不能多用几次？” 参数一更新，策略会改变动作分布，也会改变后续状态分布。旧数据仍有价值，但不能直接当作新策略采出的数据。 ...