https://dextermayhewjd.github.io/tags/cs285/Recent content in CS285 on dextermayhewjdHugozh-cnWed, 07 Oct 2026 00:00:00 +0000https://dextermayhewjd.github.io/courses/cs285/lecture-02/Wed, 07 Oct 2026 00:00:00 +0000https://dextermayhewjd.github.io/courses/cs285/lecture-02/用监督学习拟合专家动作之后，为什么自己跑起来还会出错？先看整讲主线，再逐行拆解 20 条公式。https://dextermayhewjd.github.io/courses/cs285/lecture-05/Wed, 07 Oct 2026 00:00:00 +0000https://dextermayhewjd.github.io/courses/cs285/lecture-05/先逐步推导 REINFORCE，再解释 baseline、reward-to-go 与伪损失。每个知识节点旁都有公式，点击可进入详细拆解。https://dextermayhewjd.github.io/courses/cs285/lecture-06/Wed, 07 Oct 2026 00:00:00 +0000https://dextermayhewjd.github.io/courses/cs285/lecture-06/保留 21 条公式拆解，先看完整循环，再拆 Q/V/A、价值回归、自举、n-step、GAE、replay 与重参数化。算法集中成框，数学依据逐步展开。https://dextermayhewjd.github.io/courses/cs285/lecture-09/Wed, 07 Oct 2026 00:00:00 +0000https://dextermayhewjd.github.io/courses/cs285/lecture-09/逐步拆开换分布、轨迹重要性权重、因果性、单步替代目标与 clip/min，保留公式逐行拆解和四篇卡点精读。https://dextermayhewjd.github.io/courses/cs285/lecture-10/Wed, 07 Oct 2026 00:00:00 +0000https://dextermayhewjd.github.io/courses/cs285/lecture-10/解释旧优势与旧状态分布的依据，逐步走过望远镜求和、耦合、TV、Pinsker、KL 惩罚和自然梯度。完整循环集中成框，保留 20 条公式拆解。https://dextermayhewjd.github.io/courses/cs285/lecture-14/Wed, 07 Oct 2026 00:00:00 +0000https://dextermayhewjd.github.io/courses/cs285/lecture-14/保留 22 条公式拆解，先展示完整训练循环，再连接 IRL、对抗学习、LLM 策略、GAE/GRPO、参考 KL、偏好与历史状态。