https://dextermayhewjd.github.io/tags/ppo/Recent content in PPO on dextermayhewjdHugozh-cnWed, 07 Oct 2026 00:00:00 +0000https://dextermayhewjd.github.io/courses/cs285/lecture-09/Wed, 07 Oct 2026 00:00:00 +0000https://dextermayhewjd.github.io/courses/cs285/lecture-09/逐步拆开换分布、轨迹重要性权重、因果性、单步替代目标与 clip/min，保留公式逐行拆解和四篇卡点精读。https://dextermayhewjd.github.io/courses/cs285/lecture-10/Wed, 07 Oct 2026 00:00:00 +0000https://dextermayhewjd.github.io/courses/cs285/lecture-10/解释旧优势与旧状态分布的依据，逐步走过望远镜求和、耦合、TV、Pinsker、KL 惩罚和自然梯度。完整循环集中成框，保留 20 条公式拆解。