深度强化学习（王树森）笔记10

深度强化学习（DRL）

本文是学习笔记，如有侵权，请联系删除。本文在ChatGPT辅助下完成。

参考链接

Deep Reinforcement Learning官方链接：https://github.com/wangshusen/DRL

源代码链接：https://github.com/DeepRLChinese/DeepRL-Chinese

B站视频：【王树森】深度强化学习(DRL)

豆瓣: 深度强化学习

连续控制：确定策略网络DPG，TD3，随机高斯策略

连续控制

前面的内容全部都是离散控制，即动作空间是一个离散的集合，比如超级玛丽游戏中的动作空间 A = { 左，右，上 } A= \{ 左，右，上\} A={ 左，右，上} 就是个离散集合。本章的内容是连续控制，即动作空间是个连续集合，比如汽车的转向$A=[-40^{\circ },40^{\circ }]$就是连续集合。如果把连续动作空间做离散化，那么离散控制的方法就能直接解决连续控制问题；先讨论连续集合的离散化。然而更好的办法是直接用连续控制方法，而非离散化之后借用离散控制方法。本章介绍两种连续控制方法：确定策略网络和随机策略网络。

ChatGPT对DPG的解释：

确定性策略梯度（Deterministic Policy Gradient，DPG）是强化学习中一种用于训练确定性策略的方法。与传统的随机策略不同，确定性策略直接映射状态到具体的动作，而不是输出一个动作的概率分布。DPG 主要应用于连续动作空间的问题，其中动作是实数空间中的连续值。

下面是 DPG 的基本思想和主要要素：

1. 确定性策略： 在 DPG 中，智能体的策略是确定性的，即给定一个状态，它直接输出一个具体的动作。这样的确定性策略可以表示为 ($a=\mu (s)$)，其中 ($\mu$) 是策略函数，输入为状态 (s)，输出为动作 (a)。

2. 值函数： DPG 使用值函数来评估策略的好坏。通常，包括状态值函数（State Value Function）和动作值函数（Action Value Function）。其中，状态值函数表示在给定状态下的期望累积回报，动作值函数表示在给定状态和动作的情况下的期望累积回报。

3. 策略梯度： DPG 使用策略梯度方法来更新策略参数。策略梯度是关于策略参数的梯度，它告诉我们如何调整策略以最大化期望累积回报。在 DPG 中，通过对值函数对动作的梯度来计算策略梯度。

4. Actor-Critic 结构： DPG 通常采用 Actor-Critic 结构，其中包括一个 Actor 网络负责输出动作，一个 Critic 网络负责估计值函数。这两个网络共同工作，Actor 的参数通过 Critic 的估计值函数的梯度进行更新。

总体来说，DPG 的训练过程涉及通过策略梯度来调整 Actor 网络的参数，以最大化 Critic 网络估计的值函数。这样，DPG 可以在连续动作空间中有效地训练确定性策略。

离散控制与连续控制的区别

考虑这样一个问题：我们需要控制一只机械手臂，完成某些任务，获取奖励。机械手臂有两个关节，分别可以在 [0°,360°]与 [0°,180°] 的范围内转动。这个问题的自由度是 $d=2$, 动作是二维向量，动作空间是连续集合 $A=[0,360]\times [0,180]$。

此前我们学过的强化学习方法全部都是针对离散动作空间，不能直接解决上述连续控制问题。想把此前学过的离散控制方法应用到连续控制上，必须要对连续动作空间做离散化 (网格化)。比如把连续集合 $\mathcal{A}=[0,360]\times [0,180]$ 变成离散集合 $A^{\prime }=$ { 0 , 20 , 40 , ⋯   , 360 } × { 0 , 20 , 40 , ⋯   , 180 } \{0,20,40,\cdots,360\}\times\{0,20,40,\cdots,180\} { 0,20,40,⋯,360}×{ 0,20,40,⋯,180}; 见图 10.1。

对动作空间做离散化之后，就可以应用之前学过的方法训练 DQN 或者策略网络，用于控制机械手臂。可是用离散化解决连续控制问题有个缺点。把自由度记作 $d$。自由度$d$ 越大，网格上的点就越多，而且数量随着 $d$ 指数增长，会造成维度灾难。动作空间的大小即网格上点的数量。如果动作空间太大，DQN 和策略网络的训练都变得很困难，强化学习的结果会不好。上述离散化方法只适用于自由度$d$ 很小的情况；如果 $d$ 不是很小， 就应该使用连续控制方法。后面两节介绍两种连续控制的方法。

确定策略梯度 (DPG)

确定策略梯度 (deterministic policy gradient, DPG) 是最常用的连续控制方法。DPG 是一种 actor-critic 方法，它有一个策略网络 (演员), 一个价值网络 (评委)。策略网络控制智能体做运动，它基于状态$s$ 做出动作$a$。价值网络不控制智能体，只是基于状态$s$ 给动作$a$ 打分，从而指导策略网络做出改进。图 10.2 是两个神经网络的关系。

策略网络和价值网络

本节的策略网络不同于前面章节的策略网络。在之前章节里，策略网络 $\pi (a|s;\mathbf{\theta })$ 是一个概率质量函数，它输出的是概率值。本节的确定策略网络 $\mathbf{\mu }(s;\mathbf{\theta })$ 的输出是 $d$ 维的向量$a$,作为动作。两种策略网络一个是随机的，一个是确定性的：

• 之前章节中的策略网络 $\pi (a|s;\mathbf{\theta })$ 带有随机性：给定状态 $s$, 策略网络输出的是离散动作空间 $\mathcal{A}$ 上的概率分布；$\mathcal{A}$ 中的每个元素 (动作) 都有一个概率值。智能体依据概率分布，随机从 $A$ 中抽取一个动作，并执行动作。

• 本节的确定策略网络没有随机性：对于确定的状态 $s$, 策略网络 $\mu$ 输出的动作 $a$ 是确定的。动作$a$ 直接是 $\mu$ 的输出，而非随机抽样得到的。

确定策略网络$\mu$的结构如图 10.3 所示。如果输入的状态 $s$ 是个矩阵或者张量 (例如图片、视频),那么 $\mu$ 就由若干卷积层、全连接层等组成。

确定策略可以看做是随机策略的一个特例。确定策略 $\mu (s;\theta )$ 的输出是 $d$ 维向量，它的第 $i$ 个元素记作 ${\hat{\mu }}_i={\left[\mathbf{\mu }(s;\mathbf{\theta })\right]}_i$。定义下面这个随机策略：

$$$\pi (\mathbf{a}|s;\mathbf{\theta },\mathbf{\sigma })=\prod _{i=1}^d\frac{1}{\sqrt{6.28}{\sigma }_i}\cdot \exp (-\frac{[a_i-{\hat{\mu }}_i{]}^2}{2{\sigma }_i^2}).(10.1)$$

这个随机策略是均值为 $\mu (s;\theta )$、协方差矩阵为 diag$({\sigma }_1,\cdots ,{\sigma }_d)$ 的多元正态分布。本节的确定策略可以看做是上述随机策略在 $\sigma =[{\sigma }_1,\cdots ,{\sigma }_d]$ 为全零向量时的特例。

本节的价值网络 $q(s,a;w)$ 是对动作价值函数 $Q_{\pi }(s,\mathbf{a})$ 的近似。价值网络的结构如图 10.4 所示。价值网络的输入是状态 $s$ 和动作 $a$ ,输出的价值 $\hat{q}=q(s,a;w)$ 是个实数， 可以反映动作的好坏；动作$a$ 越好，则价值$\hat{q}$就越大。所以价值网络可以评价策略网络的表现。在训练的过程中，价值网络帮助训练策略网络；在训练结束之后，价值网络就被丢弃，由策略网络控制智能体。

算法推导

用行为策略收集经验：

本节的确定策略网络属于异策略(off-policy) 方法，即行为策略 (behavior policy) 可以不同于目标策略 (target policy)。目标策略即确定策略网络$\mu (s;{\theta }_{\mathrm{now}})$,其中${\theta }_{\mathrm{now}}$ 是策略网络最新的参数。行为策略可以是任意的，比如
$$a=\mu (s;{\theta }_{\mathrm{old}})+ϵ.$$

公式的意思是行为策略可以用过时的策略网络参数，而且可以往动作中加入噪声 $ϵ\in {\mathbb{R}}^d$。异策略的好处在于可以把收集经验与训练神经网络分割开；把收集到的经验存入经验回放数组(replay buffer),在做训练的时候重复利用收集到的经验。见图 10.5。

用行为策略控制智能体与环境交互，把智能体的轨迹(trajectory) 整理成 $(s_t,a_t,r_t$, $s_{t+1})$ 这样的四元组，存入经验回放数组。在训练的时候，随机从数组中抽取一个四元组， 记作 $(s_j,{\mathbf{a}}_j,r_j,s_{j+1})$。在训练策略网络 $\mu (s;\mathbf{\theta })$ 的时候，只用到状态 $s_j$。在训练价值网络$q(s,\mathbf{a};\mathbf{w})$ 的时候，要用到四元组中全部四个元素：$s_j,{\mathbf{a}}_j,r_j,s_{j+1}$。

训练策略网络：

首先通俗解释训练策略网络的原理。如图 10.6 所示，给定状态 $s$,策略网络输出一个动作$a=\mu (s;\theta )$,然后价值网络会给$a$ 打一个分数：$\hat{q}=q(s,a;\mathbf{w})$。

参数 $\theta$ 影响 $a$, 从而影响 $\hat{q}$。分数 $\hat{q}$ 可以反映出 $\theta$ 的好坏程度。训练策略网络的目标就是改进参数$\theta$,使$\hat{q}$变得更大。把策略网络看做演员，价值网络看做评委。训练演员(策略网络)的目的就是让他迎合评委 (价值网络) 的喜好，改变自己的表演技巧 (即参数 $\theta$), 使得评委打分 $\hat{q}$ 的均值更高。

根据以上解释，我们来推导目标函数。如果当前状态是 $s$, 那么价值网络的打分就是：

$$q(s,\mathbf{\mu }(s;\mathbf{\theta });\mathbf{w}).$$

我们希望打分的期望尽量高，所以把目标函数定义为打分的期望：

$$J(\mathbf{\theta })={\mathbb{E}}_S[q(S,\mathbf{\mu }(S;\mathbf{\theta });\mathbf{w})].$$

关于状态$S$ 求期望消除掉了$S$ 的影响；不管面对什么样的状态$S$, 策略网络(演员)都应该做出很好的动作，使得平均分 $J(\theta )$ 尽量高。策略网络的学习可以建模成这样一个最大化问题：

$$\underset{\theta }{\max }J(\mathbf{\theta }).$$

注意，这里我们只训练策略网络，所以最大化问题中的优化变量是策略网络的参数$\theta$,而价值网络的参数$w$ 被固定住。

可以用梯度上升来增大$J(\mathbf{\theta })$。每次用随机变量$S$ 的一个观测值(记作$s_j$) 来计算梯度：

$${\mathbf{g}}_j\triangleq {\nabla }_{\mathbf{\theta }}q(s_j,\mathbf{\mu }(s_j;\mathbf{\theta });\mathbf{w}).$$

它是 ${\nabla }_{\theta }J(\theta )$ 的无偏估计。$g_j$ 叫做确定策略梯度 (deterministic policy gradient), 缩写DPG。

可以用链式法则求出梯度$g_j$。复习一下链式法则。如果有这样的函数关系$:\theta \to a\to$ $q$,那么$q$ 关于 $\theta$ 的导数可以写成

$$\frac{\partial q}{\partial \theta }=\frac{\partial a}{\partial \theta }\cdot \frac{\partial q}{\partial a}$$

价值网络的输出与$\theta$的函数关系如图 10.6 所示。应用链式法则，我们得到下面的定理。

定理 10.1. 确定策略梯度
$${\nabla }_{\theta }q(s_j,\mu (s_j;\mathbf{\theta });\mathbf{w})={\nabla }_{\theta }\mathbf{\mu }(s_j;\mathbf{\theta })\cdot {\nabla }_{\mathbf{a}}q(s_j{\hat{\mathbf{a}}}_j;\mathbf{w}),\text{其中}{\hat{\mathbf{a}}}_j=\mathbf{\mu }(s_j;\mathbf{\theta }).♡$$
由此我们得到更新$\theta$ 的算法。每次从经验回放数组里随机抽取一个状态，记作 $s_j$。计算${\hat{a}}_j=\mu (s_j;\mathbf{\theta })$。用梯度上升更新一次$\theta$:
$$\boxed{\mathbf{\theta }\leftarrow \mathbf{\theta }+\mathbf{\beta }\cdot {\nabla }_{\mathbf{\theta }}\mathbf{\mu }(s_j;\mathbf{\theta })\cdot {\nabla }_{\mathbf{a}}q(s_j,{\hat{\mathbf{a}}}_j;\mathbf{w}).}$$

此处的 $\beta$ 是学习率，需要手动调。这样做梯度上升，可以逐渐让目标函数 $J(\theta )$ 增大，也就是让评委给演员的平均打分更高。

训练价值网络 :

首先通俗解释训练价值网络的原理。训练价值网络的目标是让价值网络$q(s,\mathbf{a};\mathbf{w})$ 的预测越来越接近真实价值函数 $Q_{\pi }(s,\mathbf{a})$。如果把价值网络看做评委，那么训练评委的目标就是让他的打分越来越准确。每一轮训练都要用到一个实际观测的奖励$r$,可以把$r$看做“真理”,用它来校准评委的打分。

训练价值网络要用 TD 算法。这里的 TD 算法与之前学过的标准 actor-critic 类似，都是让价值网络去拟合 TD 目标。每次从经验回放数组中取出一个四元组 $(s_j,a_j,r_j,s_{j+1})$, 用它更新一次参数 $w$。首先让价值网络做预测：

$${\hat{q}}_j=q(s_j,{\mathbf{a}}_j;\mathbf{w})\text{和}{\hat{q}}_{j+1}=q(s_{j+1},\mathbf{\mu }(s_{j+1};\mathbf{\theta });\mathbf{w})$$

计算 TD 目标 ${\hat{y}}_j=r_j+\gamma \cdot {\hat{g}}_{j+1}$。定义损失函数

$$L(\mathbf{w})=\frac{1}{2}[q(s_j,{\mathbf{a}}_j;\mathbf{w})-{\hat{y}}_j{]}^2,$$

计算梯度

$${\nabla }_{\mathbf{w}}L\left(\mathbf{w}\right)=\underset{\mathrm{TD}\text{误差 }{\delta }_j}{\underbrace{\left({\hat{q}}_j-{\hat{y}}_j\right)}}\cdot {\nabla }_{\mathbf{w}}q(s_j,a_j;\mathbf{w}),$$

做一轮梯度下降更新参数 $w:$

$$w\leftarrow w-\alpha \cdot {\nabla }_{\mathbf{w}}L(\mathbf{w}).$$

这样可以让损失函数$L(w)$ 减小，也就是让价值网络的预测${\hat{q}}_j=q(s,\mathbf{a};\mathbf{w})$ 更接近 TD 目标${\hat{y}}_j$。公式中的$\alpha$ 是学习率，需要手动调。

训练流程 :

做训练的时候，可以同时对价值网络和策略网络做训练。每次从经验回放数组中抽取一个四元组，记作$(s_j,a_j,r_j,s_{j+1})$。把神经网络当前参数记作$w_{\mathrm{now}}$ 和${\theta }_{\mathrm{now}}$。执行以下步骤更新策略网络和价值网络：

1. 让策略网络做预测：

$${\hat{\mathbf{a}}}_j=\mathbf{\mu }(s_j;{\mathbf{\theta }}_{\mathrm{now}})\text{和}{\hat{\mathbf{a}}}_{j+1}=\mathbf{\mu }(s_{j+1};{\mathbf{\theta }}_{\mathrm{now}}).$$

​ 注 计算动作${\hat{a}}_j$用的是当前的策略网络 $\mu (s_j;{\theta }_{\mathrm{now}})$,用${\hat{a}}_j$ 来更新${\theta }_{\mathrm{now}}$: 而从经验回放数组中抽取的$a_j$ 则是用过时的策略网络 $\mu (s_j;{\theta }_{\mathrm{old}})$ 算出的，用$a_j$ 来更新 $w_{\mathrm{now}}$ 。请注意${\hat{a}}_j$ 与$a_j$ 的区别。

2. 让价值网络做预测：

$${\hat{q}}_j=q(s_j,{\mathbf{a}}_{\mathbf{j}};{\mathbf{w}}_{\mathrm{now}})\text{和}{\hat{q}}_{j+1}=q(s_{j+1},\widehat{{\mathbf{a}}_{\mathbf{j}+1}};{\mathbf{w}}_{\mathrm{now}}).$$

3. 计算 TD 目标和 TD 误差：

$${\hat{y}}_j=r_j+\gamma \cdot {\hat{q}}_{j+1}\text{和}{\delta }_j={\hat{q}}_j-{\hat{y}}_j.$$

4. 更新价值网络：

$${\mathbf{w}}_{\mathrm{new}}\leftarrow {\mathbf{w}}_{\mathrm{now}}-\alpha \cdot {\delta }_j\cdot {\nabla }_{\mathbf{w}}q(s_j,{\mathbf{a}}_{\mathbf{j}};{\mathbf{w}}_{\mathrm{now}}).$$

5. 更新策略网络：

$${\mathbf{\theta }}_{\mathrm{new}}\leftarrow {\mathbf{\theta }}_{\mathrm{now}}+\beta \cdot {\nabla }_{\mathbf{\theta }}\mathbf{\mu }(s_j;{\mathbf{\theta }}_{\mathrm{now}})\cdot {\nabla }_{\mathbf{a}}q(s_j,{\hat{\mathbf{a}}}_j;{\mathbf{w}}_{\mathrm{now}}).$$

在实践中，上述算法的表现并不好；读者应当采用后面介绍的技巧训练策略网络和价值网络。

深入分析 DPG

上一节介绍的 DPG 是一种“四不像”的方法。DPG 乍看起来很像前面介绍的策略学习方法，因为 DPG 的目的是学习一个策略 $\mu$,而价值网络 $q$ 只起辅助作用。然而 DPG 又很像之前介绍的 DQN, 两者都是异策略 (Off-policy), 而且两者存在高估问题。鉴于 DPG 的重要性，我们更深入分析 DPG。

从策略学习的角度看待 DPG

答案是动作价值函数$Q_{\pi }(s,a)$。上一节 DPG 的训练流程中，更新价值网络用到 TD 目标：

$${\hat{y}}_j=r_j+\gamma \cdot q(s_{j+1},\mathbf{\mu }\left(s_{j+1};{\mathbf{\theta }}_{\mathrm{now}}\right);{\mathbf{w}}_{\mathrm{now}}).$$

很显然，当前的策略 $\mu (s;{\theta }_{\mathrm{now}})$ 会直接影响价值网络 $q$。策略不同，得到的价值网络 $q$ 就不同。

虽然价值网络 $q(s,a;w)$ 通常是对动作价值函数 $Q_{\pi }(s,\mathbf{a})$ 的近似，但是我们最终的目标是让 $q(s,\mathbf{a};\mathbf{w})$ 趋近于最优动作价值函数 $Q_{\star }(s,\mathbf{a})$。回忆一下，如果 $\pi$ 是最优策略${\pi }^{\star }$, 那么 $Q_{\pi }(s,\mathbf{a})$ 就等于 $Q_{\star }(s,\mathbf{a})$。训练 DPG 的目的是让 $\mu (s;\mathbf{\theta })$ 趋近于最优策略 ${\pi }^{\star }$ 那么理想情况下，$q(s,a;w)$ 最终趋近于 $Q_{\star }(s,\mathbf{a})$。

答案是目标策略$\mu (s;{\theta }_{\mathrm{now}})$,因为目标策略对价值网络的影响很大。在理想情况下，行为策略对价值网络没有影响。我们用 TD 算法训练价值网络，TD 算法的目的在于鼓励价值网络的预测趋近于 TD 目标。理想情况下，

$$q(s_j,{\mathbf{a}}_j;\mathbf{w})=\underset{\text{TD 目标}}{\underbrace{r_j+\gamma \cdot Q(s_{j+1},\mathbf{\mu }(s_{j+1};{\mathbf{\theta }}_{\mathrm{now}});{\mathbf{w}}_{\mathrm{now}})}},\forall (s_j,{\mathbf{a}}_j,r_j,s_{j+1}).$$
在收集经验的过程中，行为策略决定了如何基于 $s_j$ 生成 $a_j$,然而这不重要。上面的公式只希望等式左边去拟合等式右边，而不在乎$a_j$ 是如何生成的。

从价值学习的角度看待 DPG

假如我们知道最优动作价值函数$Q_{\star }(s,a;\mathbf{w})$,我们可以这样做决策：给定当前状态$s_t$,选择最大化 Q 值的动作
$$a_t=\underset{a\in \mathcal{A}}{\mathrm{argmax}}{Q}_{\star }(s_t,a).$$

DQN 记作$Q(s,a;w)$,它是$Q_{\star }(s,a;\mathbf{w})$ 的函数近似。训练 DQN 的目的是让$Q(s,a;\mathbf{w})$ 趋近$Q_{\star }(s,a;\mathbf{w})$, $\forall s\in \mathcal{S},a\in \mathcal{A}$。在训练好 DQN 之后，可以这样做决策：

$$a_t={\mathrm{argmax}}_{a\in \mathcal{A}}Q(s_t,a;\mathbf{w}).$$

如果动作空间 $A$ 是离散集合，那么上述最大化很容易实现。可是如果 $A$ 是连续集合，则很难对$Q$求最大化。

可以把 DPG 看做对最优动作价值函数 $Q_{\star }(s,\mathbf{a})$ 的另一种近似方式，用于连续控制问题。我们希望学到策略网络 $\mu (s;\theta )$ 和价值网络 $q(s,a;\mathbf{w})$, 使得
$$q(s,\mathbf{\mu }(s;\mathbf{\theta });\mathbf{w})\approx \underset{\mathbf{a}\in \mathcal{A}}{\max }{Q}_{\star }(s,\mathbf{a}),\forall s\in \mathcal{S}.$$

我们可以把 $\mu$ 和 $q$ 看做是 $Q_{\star }$ 的近似分解，而这种分解的目的在于方便做决策：

$$\begin{array}{rcl}{a}_t& =& \mathbf{\mu }(s_t;\mathbf{\theta })\\ & \approx & {\mathrm{argmax}}_{\mathbf{a}\in \mathcal{A}}{Q}_{\star }(s_t,\mathbf{a}).\end{array}$$

DPG 的高估问题

在之前的笔记 深度强化学习（王树森）笔记08-CSDN博客，我们讨过 DQN 的高估问题：如果用 Q 学习算法训练 DQN, 则 DQN 会高估真实最优价值函数$Q_{\star }$。把 DQN 记作$Q(s,a;\mathbf{w})$。如果用 Q 学习算法训练 DQN, 那么 TD 目标是
$${\hat{y}}_j=r_j+\gamma \cdot \underset{a\in \mathcal{A}}{\max }Q(s_{j+1},a;\mathbf{w}).$$

之前得出结论：如果 $Q(s,a;\mathbf{w})$ 是最优动作价值函数 $Q_{\star }(s,a)$ 的无偏估计，那么 ${\hat{y}}_j$ 是对$Q_{\star }(s_j,a_j)$ 的高估。用 ${\hat{y}}_j$ 作为目标去更新 DQN, 会导致 $Q(s_j,a_j;\mathbf{w})$ 高估 $Q_{\star }(s_j,a_j)$。另一个结论是自举会导致高估的传播，造成高估越来越严重。

DPG 也存在高估问题，用上一节的算法训练出的价值网络 $q(s,a;w)$ 会高估真实动作价值$Q_{\pi }(s,\mathbf{a})$。造成 DPG 高估的原因与 DQN 类似：第一，TD 目标是对真实动作价值的高估；第二，自举导致高估的传播。下面具体分析两个原因；如果读者不感兴趣，只需要记住上述结论即可，可以跳过下面的内容。

最大化造成高估：

训练策略网络的时候，我们希望策略网络计算出的动作 $\hat{a}=$ $\mu (s;\theta )$ 能得到价值网络尽量高的评价，也就是让 $q(s,\hat{a};w)$ 尽量大。我们通过求解下面的优化模型来学习策略网络：
$${\mathbf{\theta }}^{\star }=\underset{\mathbf{\theta }}{\mathrm{argmax}}{\mathbb{E}}_S\left[q\right(S,\hat{A};\mathbf{w}\left)\right],s.t.\hat{A}=\mathbf{\mu }(S;\mathbf{\theta }).$$

这个公式的意思是 $\mu (s;{\theta }^{\star })$ 是最优的确定策略网络。 上面的公式与下面的公式意义相同(虽然不严格等价):

$$\mathbf{\mu }(s;{\mathbf{\theta }}^{\star })={\mathrm{argmax}}_{\mathbf{a}\in \mathcal{A}}q(s,\mathbf{a};\mathbf{w}),\forall s\in \mathcal{S}.$$

这个公式的意思也是 $\mu (s;{\theta }^{\star })$ 是最优的确定策略网络。训练价值网络 $q$ 时用的 TD 目标是

$$\begin{array}{rcl}{\hat{y}}_j& =& r_j+\gamma \cdot q(s_{j+1},\mathbf{\mu }(s_{j+1};\mathbf{\theta });\mathbf{w})\\ & \approx & r_j+\gamma \cdot {\max }_{{\mathbf{a}}_{j+1}}q(s_{j+1},{\mathbf{a}}_{j+1};\mathbf{w}).\end{array}$$

根据前面的分析，上面公式中的 max 会导致 ${\hat{y}}_j$ 高估真实动作价值$Q_{\pi }(s_j,a_j;\mathbf{w})$。在训练$q$ 时，我们把${\hat{y}}_j$ 作为目标，鼓励价值网络 $q(s_j,a_j;\mathbf{w})$ 接近${\hat{y}}_j$, 这会导致 $q(s_j,a_j;\mathbf{w})$ 高估真实动作价值。

自举造成偏差传播：

前面的笔记中讨论过自举(bootstrapping)造成偏差的传播。
TD 目标
$${\hat{y}}_j=r_j+\gamma \cdot q(s_{j+1},\mathbf{\mu }(s_{j+1};\mathbf{\theta });\mathbf{w})$$

是用价值网络算出来的，而它又被用于更新价值网络$q$ 本身，这属于自举。假如价值网络$q(s_{j+1},a_{j+1};\theta )$ 高估了真实动作价值$Q_{\pi }(s_{j+1},a_{j+1})$,那么 TD 目标 ${\hat{y}}_j$ 则是对$Q_{\pi }(s_j,a_j)$ 的高估，这会导致$q(s_j,a_j;\mathbf{w})$ 高估$Q_{\pi }(s_j,{\mathbf{a}}_j)$。自举让高估从$(s_{j+1},{\mathbf{a}}_{j+1})$ 传播到$(s_j,{\mathbf{a}}_j)$。

双延时确定策略梯度 (TD3)

由于存在高估等问题，DPG 实际运行的效果并不好。本节介绍的 Twin Delayed Deep Deterministic Policy Gradient (TD3) 可以大幅提升算法的表现，把策略网络和价值网络训练得更好。注意，本节只是改进训练用的算法，并不改变神经网络的结构。

高估问题的解决方案

解决方案——目标网络：

为了解决自举和最大化造成的高估，我们需要使用目标网络 (Target Networks) 计算 TD 目标 ${\hat{y}}_j$。训练中需要两个目标网络：
$$q(s,\mathbf{a};{\mathbf{w}}^{-})\text{和}\mathbf{\mu }(s;{\mathbf{\theta }}^{-}).$$

它们与价值网络、策略网络的结构完全相同，但是参数不同。TD 目标是用目标网络算的：

$${\hat{y}}_j=r_j+\gamma \cdot q(s_{j+1},{\hat{\mathbf{a}}}_{j+1};{\mathbf{w}}^{-}),\text{其中}{\hat{\mathbf{a}}}_{j+1}=\mu (s_{j+1};{\mathbf{\theta }}^{-}).$$

把${\hat{y}}_j$作为目标，更新$\mathbf{w}$,鼓励$q(s_j,a_j;\mathbf{w})$ 接近${\hat{y}}_j$。四个神经网络之间的关系如图 10.7所示。

这种方法可以在一定程度上缓解高估，但是实验表明高估仍然很严重。

更好的解决方案——截断双 Q 学习 (clipped double Q-learning):

这种方法使用两个价值网络和一个策略网络：
$$q(s,\mathbf{a};{\mathbf{w}}_1),q(s,\mathbf{a};{\mathbf{w}}_2),\mathbf{\mu }(s;\mathbf{\theta }).$$
三个神经网络各对应一个目标网络：
$$q(s,\mathbf{a};{\mathbf{w}}_1^{-}),q(s,\mathbf{a};{\mathbf{w}}_2^{-}),\mathbf{\mu }(s;{\mathbf{\theta }}^{-}).$$
用目标策略网络计算动作：

$${\hat{a}}_{j+1}^{-}=\mu (s_{j+1};{\mathbf{\theta }}^{-}),$$
然后用两个目标价值网络计算：

$$\begin{array}{rcl}{\hat{y}}_{j,1}& =& r_j+\gamma \cdot q(s_{j+1},{\hat{a}}_{j+1}^{-};{\mathbf{w}}_1^{-}),\\ {\hat{y}}_{j,2}& =& r_j+\gamma \cdot q(s_{j+1},{\hat{a}}_{j+1}^{-};{\mathbf{w}}_2^{-}).\end{array}$$
取两者较小者为TD 目标：
$${\hat{y}}_j=\min \{{\hat{y}}_{j,1},{\hat{y}}_{j,2}\}.$$
截断双 Q 学习中的六个神经网络的关系如图 10.8 所示。

其他改进方法

可以在截断双 Q 学习算法的基础上做两处小的改进、进一步提升算法的表现。两种改进分别是往动作中加噪声、减小更新策略网络和目标网络的频率。

往动作中加噪声：

上一小节中截断双 Q 学习用目标策略网络计算动作$:{\hat{a}}_{j+1}^{-}=$ $\mu (s_{j+1};{\theta }^{-})$。把这一步改成：
$${\hat{a}}_{j+1}^{-}=\mu (s_{j+1};{\theta }^{-})+\xi .$$

公式中的$\xi$是个随机向量，表示噪声，它的每一个元素独立随机从截断正态分布 (clipped normal distribution) 中抽取。把截断正态分布记作$\mathcal{C}\mathcal{N}(0,{\sigma }^2,-c,c)$,意思是均值为零，标准差为 $\sigma$ 的正态分布，但是变量落在区间 $[-c,c]$ 之外的概率为零。正态分布与截断正态分布的对比如图 10.9 所示。使用截断正态分布，而非正态分布，是为了防止噪声$\xi$ 过大。使用截断，保证噪声大小不会超过 $-c$ 和 $c$。

减小更新策略网络和目标网络的频率 :

Actor-critic 用价值网络来指导策略网络的更新。如果价值网络$q$ 本身不可靠，那么用价值网络$q$ 给动作打的分数是不准确的，无助于改进策略网络 $\mu$。在价值网络 $q$ 还很差的时候就急于更新 $\mu$, 非但不能改进 $\mu$,反而会由于 $\mu$ 的变化导致 $q$ 的训练不稳定。
实验表明，应当让策略网络 $\mu$ 以及三个目标网络的更新慢于价值网络 $q$。传统的actor-critic 的每一轮训练都对策略网络、价值网络、以及目标网络做一次更新。更好的方法是每一轮更新一次价值网络，但是每隔 $k$ 轮更新一次策略网络和三个目标网络。$k$ 是超参数，需要调。

训练流程

本节介绍了三种技巧，改进 DPG 的训练。第一，用截断双 Q 学习，缓解价值网络的高估。第二，往目标策略网络中加噪声，起到平滑作用。第三，降低策略网络和三个目标网络的更新频率。使用这三种技巧的算法被称作双延时确定策略梯度 (twin delayed deep deterministic policy gradient), 缩写是 TD3。

TD3 与 DPG 都属于异策略 (off-policy), 可以用任意的行为策略收集经验，事后做经验回放训练策略网络和价值网络。收集经验的方式与原始的训练算法相同，用 $a_t=$ $\mathbf{\mu }(s_t;\mathbf{\theta })+\mathbf{ϵ}$ 与环境交互，把观测到的四元组 $(s_t,{\mathbf{a}}_t,r_t,s_{t+1})$ 存入经验回放数组。

初始的时候，策略网络和价值网络的参数都是随机的。这样初始化目标网络的参数：

$$w_1^{-}\leftarrow w_1,w_2^{-}\leftarrow w_2,{\theta }^{-}\leftarrow \theta .$$

训练策略网络和价值网络的时候，每次从数组中随机抽取一个四元组，记作$(s_j,a_j,r_j,s_{j+1})$。用下标 now 表示神经网络当前的参数，用下标 new 表示更新后的参数。然后执行下面的步骤，更新价值网络、策略网络、目标网络。

1. 让目标策略网络做预测$:{\hat{a}}_{j+1}^{-}=\mu (s_{j+1};{\theta }_{\mathrm{now}}^{-})+\xi$。其中向量$\xi$的每个元素都独立从截断正态分布$\mathcal{C}\mathcal{N}(0,{\sigma }^2,-c,c)$ 中抽取。

2. 让两个目标价值网络做预测：

$${\hat{q}}_{1,j+1}^{-}=q(s_{j+1},{\hat{a}}_{j+1}^{-};{\mathbf{w}}_{1,\mathrm{now}}^{-})\text{和}{\hat{q}}_{2,j+1}^{-}=q(s_{j+1},{\hat{\mathbf{a}}}_{j+1}^{-};{\mathbf{w}}_{2,\mathrm{now}}^{-}).$$

3. 计算 TD 目标：

$${\hat{y}}_j=r_j+\gamma \cdot \min \{{\hat{q}}_{1,j+1},{\hat{q}}_{2,j+1}\}.$$

4. 让两个价值网络做预测：

$${\hat{q}}_{1,j}=q(s_j,{\mathbf{a}}_j;{\mathbf{w}}_{1,\mathrm{now}})\text{和}{\hat{q}}_{2,j}=q(s_j,{\mathbf{a}}_j;{\mathbf{w}}_{2,\mathrm{now}}).$$

5. 计算 TD 误差：

$${\delta }_{1,j}={\hat{q}}_{1,j}-{\hat{y}}_j\text{和}{\delta }_{2,j}={\hat{q}}_{2,j}-{\hat{y}}_j.$$

6. 更新价值网络：

$$\begin{array}{rcl}{w}_{1,\mathrm{new}}& \leftarrow & w_{1,\mathrm{now}}-\alpha \cdot {\delta }_{1,j}\cdot {\nabla }_{\mathbf{w}}q(s_j,{\mathbf{a}}_j;{\mathbf{w}}_{1,\mathrm{now}}),\\ w_{2,\mathrm{new}}& \leftarrow & {\mathbf{w}}_{2,\mathrm{now}}-\alpha \cdot {\delta }_{2,j}\cdot {\nabla }_{\mathbf{w}}q(s_j,{\mathbf{a}}_j;{\mathbf{w}}_{2,\mathrm{now}}).\end{array}$$

7. 每隔$k$ 轮更新一次策略网络和三个目标网络：

• 让策略网络做预测$:{\hat{a}}_j=\mu (s_j;\theta )$。然后更新策略网络：

$${\theta }_{\mathrm{new}}\leftarrow {\theta }_{\mathrm{now}}+\beta \cdot {\nabla }_{\theta }\mathbf{\mu }(s_j;{\mathbf{\theta }}_{\mathrm{now}})\cdot {\nabla }_{\mathbf{a}}q(s_j,{\hat{\mathbf{a}}}_j;{\mathbf{w}}_{1,\mathrm{now}}).$$

• 更新目标网络的参数:
  $$\begin{array}{rl}& \\ {\theta }_{\mathrm{new}}^{-}& \leftarrow \tau {\theta }_{\mathrm{new}}+(1-\tau ){\theta }_{\mathrm{now}}^{-},\\ w_{1,\mathrm{new}}^{-}& \leftarrow \tau w_{1,\mathrm{new}}+\left(1-\tau \right){\mathbf{w}}_{1,\mathrm{now}}^{-},\\ w_{2,\mathrm{new}}^{-}& \leftarrow \tau {\mathbf{w}}_{2,\mathrm{new}}+(1-\tau ){\mathbf{w}}_{2,\mathrm{now}}^{-}.\end{array}$$

随机高斯策略

上一节用确定策略网络解决连续控制问题。本节用不同的方法做连续控制，本节的策略网络是随机的，它是随机正态分布 (也叫高斯分布)。

基本思路

我们先研究最简单的情形：自由度等于 1, 也就是说动作 $a$ 是实数，动作空间 $A\subset \mathbb{R}$ 。把动作的均值记作 $\mu (s)$,标准差记作 $\sigma (s)$, 它们都是状态 $s$ 的函数。用正态分布的概率密度函数作为策略函数：

$$\pi (a|s)=\frac{1}{\sqrt{6.28}\cdot \sigma (s)}\cdot \exp \left(-\frac{{\left[a-\mu (s)\right]}^2}{2\cdot {\sigma }^2(s)}\right).(10.2)$$

假如我们知道函数 $\mu (s)$ 和 $\sigma (s)$ 的解析表达式，可以这样做控制：

1. 观测到当前状态 $s$, 预测均值 $\hat{\mu }=\mu (s)$ 和标准差 $\hat{\sigma }=\sigma (s)$。
2. 从正态分布中做随机抽样$:a\sim \mathcal{N}(\hat{\mu },{\hat{\sigma }}^2)$; 智能体执行动作 $a$ 。

然而我们并不知道 $\mu (s)$ 和 $\sigma (s)$ 是怎么样的函数。一个很自然的想法是用神经网络来近似这两个函数。把神经网络记作 $\mu (s;\theta )$ 和 $\sigma (s;\theta )$,其中 $\theta$ 表示神经网络中的可训练参数。但实践中最好不要直接近似标准差$\sigma$,而是近似方差对数$\ln {\sigma }^2$。定义两个神经网络:

$$\mu (s;\mathbf{\theta })\text{和}\rho (s;\mathbf{\theta }),$$

分别用于预测均值和方差对数。可以按照图10.10来搭建神经网络。

神经网络的输入是状态$s$,通常是向量、矩阵或者张量。神经网络有两个输出头，分别记作 $\mu (s;\mathbf{\theta })$ 和 $\rho (s;\mathbf{\theta })$ 可以这样用神经网络做控制：

1. 观测到当前状态 $s$, 计算均值 $\hat{\mu }=\mu (s;\mathbf{\theta })$, 方差对数 $\hat{\rho }=\rho (s;\mathbf{\theta })$, 以及方差 ${\hat{\sigma }}^2=$ $\exp (\hat{\rho })。$

2. 从正态分布中做随机抽样：$a\sim \mathcal{N}(\hat{\mu },{\hat{\sigma }}^2)$; 智能体执行动作 $a$ 。

用神经网络近似均值和标准差之后，公式 (10.2) 中的策略函数 $\pi (a|s)$ 变成了下面的策略网络：

$$\pi (a|s;\mathbf{\theta })=\frac{1}{\sqrt{6.28\cdot \exp [\rho (s;\mathbf{\theta })]}}\cdot \exp (-\frac{{\left[a-\mu (s;\mathbf{\theta })\right]}^2}{2\cdot \exp [\rho (s;\mathbf{\theta })]}).$$

实际做控制的时候，我们只需要神经网络 $\mu (s;\theta )$ 和 $\rho (s;\theta )$, 用不到真正的策略网络$\pi (a|s;\mathbf{\theta })$。

随机高斯策略网络

上一小节假设控制问题的自由度是$d=1$,也就是说动作$a$ 是标量。实际问题中的自由度$d$ 往往大于 1, 那么动作 $a$ 是 $d$ 维向量。对于这样的问题，我们修改一下神经网络结构，让两个输出 $\mu (s;\theta )$ 和 $\rho (s;\theta )$ 都 $d$ 维向量；见图10.11。

用标量$a_i$表示动作向量$a$ 的第$i$ 个元素。用函数 ${\mu }_i(s;\mathbf{\theta })$ 和 ${\rho }_i(s;\mathbf{\theta })$ 分别表示 $\mu (s;\mathbf{\theta })$ 和 $\rho (s;\mathbf{\theta })$ 的第 $i$ 个元素。我们用下面这个特殊的多元正态分布的概率密度函数作为策略网络：

$$\pi (\mathbf{a}|s;\mathbf{\theta })=\prod _{i=1}^d\frac{1}{\sqrt{6.28\cdot \exp [{\rho }_i(s;\mathbf{\theta })]}}\cdot \exp (-\frac{{\left[a_i-{\mu }_i(s;\mathbf{\theta })\right]}^2}{2\cdot \exp [{\rho }_i(s;\mathbf{\theta })]}).$$

做控制的时候只需要均值网络$\mu (s;\theta )$ 和方差对数网络$\rho (s;\theta )$,不需要策略网络$\pi (u|s;\theta {)}_s$ 做训练的时候也不需要 $\pi (a|s;\theta )$, 而是要用辅助网络 $f(s,\mathbf{a};\mathbf{\theta })$。总而言之，策略网络 $\pi$ 只是帮助你理解本节的方法而已，实际算法中不会出现 π。

图10.11描述了辅助网络 $f(s,a;\theta )$ 与μ、$\rho$、$a$ 的关系。辅助网络具体是这样定义的：

$$f(s,\mathbf{a};\mathbf{\theta })=-\frac{1}{2}\sum _{i=1}^d({\rho }_i(s;\mathbf{\theta })+\frac{[a_i-{\mu }_i(s;\mathbf{\theta }){]}^2}{\exp [{\rho }_i(s;\mathbf{\theta })]}).$$

它的可训练参数$\theta$都是从 $\mu (s;\theta )$ 和 $\rho (s;\theta )$ 中来的。不难发现，辅助网络与策略网络有

这样的关系：

$$\boxed{f(s,\mathbf{a};\mathbf{\theta })=\ln \pi (\mathbf{a}|s;\mathbf{\theta })+Constant.}(10.3)$$

策略梯度

回忆一下之前学过的内容。在$t$ 时刻的折扣回报记作随机变量
$$U_t=R_t+\gamma \cdot R_{t+1}+{\gamma }^2\cdot R_{t+2}+\cdots +{\gamma }^{n-t}\cdot R_n.$$

动作价值函数$Q_{\pi }(s_t,a_t)$ 是对折扣回报$U_t$ 的条件期望。前面章节推导过策略梯度的蒙特卡洛近似：

$$\mathbf{g}=Q_{\pi }(s,\mathbf{a})\cdot {\nabla }_{\mathbf{\theta }}\ln \pi (\mathbf{a}|s;\mathbf{\theta }).$$

由公式 (10.3) 可得：

$$\mathbf{g}=Q_{\pi }(s,\mathbf{a})\cdot {\nabla }_{\mathbf{\theta }}f(s,\mathbf{a};\mathbf{\theta }).(10.4)$$
有了策略梯度，就可以学习参数$\theta$。训练的过程大致如下：

1. 搭建均值网络 $\mu (s;\theta )$、方差对数网络 $\rho (s;\theta )$、辅助网络 $f(s,\mathbf{a};\mathbf{\theta })$ 。

2. 让智能体与环境交互，记录每一步的状态、动作、奖励，并对参数 $\theta$ 做更新：

(a). 观测到当前状态$s$,计算均值、方差对数、方差：

$$\hat{\mu }=\mu (s;\theta ),\hat{\rho }=\rho (s;\theta ),{\hat{\sigma }}^2=\exp (\hat{\rho }).$$

此处的指数函数 $\exp (\cdot )$ 应用到向量的每一个元素上。
(b). 设${\hat{\mu }}_i$ 和${\hat{\sigma }}_i$ 分别是 $d$ 维向量 $\hat{\mathbf{\mu }}$ 和 $\hat{\sigma }$ 的第 $i$ 个元素。从正态分布中做抽样：
$$a_i\sim \mathcal{N}({\hat{\mu }}_i,{\hat{\sigma }}_i^2),\forall i=1,\cdots ,d.$$

把得到的动作记作$a=[a_1,\cdots ,a_d]$。

(c ). 近似计算动作价值$:\hat{q}\approx Q_{\pi }(s,\mathbf{a})$。

​(d). 用反向传播计算出辅助网络关于参数$\theta$ 的梯度：${\nabla }_{\theta }f(s,\mathbf{a};\mathbf{\theta })$。
​(e). 用策略梯度上升更新参数：
$$\theta \leftarrow \theta +\beta \cdot \hat{q}\cdot {\nabla }_{\mathbf{\theta }}f(s,\mathbf{a};\mathbf{\theta }).$$

此处的 $\beta$ 是学习率。

用 REINFORCE 学习参数

REINFORCE 用实际观测的折扣回报 $u_t={\sum }_{k=t}^n{\gamma }^{k-t}\cdot r_k$ 代替动作价值 $Q_{\pi }(s_t,{\mathbf{a}}_t)$。
道理是这样的。动作价值是回报的期望：
$$Q_{\pi }(s_t,{\mathbf{a}}_t)=\mathbb{E}\left[U_t\right|S_t=s_t,A_t={\mathbf{a}}_t].$$

随机变量$U_t$ 的一个实际观测值 $u_t$ 是期望的蒙特卡洛近似。这样一来，公式 (10.4) 中的策略梯度就能近似成

$$\mathbf{g}\approx u_t\cdot {\nabla }_{\mathbf{\theta }}f(s,\mathbf{a};\mathbf{\theta }).$$

在搭建好均值网络 $\mu (s;\theta )$、方差对数网络 $\rho (s;\theta )$、辅助网络 $f(s,a;\theta )$ 之后，我们用REINFORCE 更新参数 $\theta$。设当前参数为 ${\theta }_{\mathrm{now}}$。REINFORCE 重复以下步骤，直到收敛：

1. 用 $\mu (s;{\theta }_{\mathrm{now}})$ 和 $\rho (s;{\theta }_{\mathrm{now}})$ 控制智能体与环境交互，完成一局游戏，得到一条轨迹

$$s_1,{\mathbf{a}}_1,r_1,s_2,{\mathbf{a}}_2,r_2,\cdots ,s_n,{\mathbf{a}}_n,r_n.$$

2. 计算所有的回报：
   $$u_t=\sum _{k=t}^T{\gamma }^{k-t}\cdot r_k,\forall t=1,\cdots ,n.$$

3. 对辅助网络做反向传播，得到所有的梯度：

$${\nabla }_{\mathbf{\theta }}f(s_t,{\mathbf{a}}_t;{\mathbf{\theta }}_{\mathrm{now}}),\forall t=1,\cdots ,n.$$

4. 用策略梯度上升更新参数：

$${\theta }_{\mathrm{new}}\leftarrow {\theta }_{\mathrm{now}}+\beta \cdot \sum _{t=1}^n{\gamma }^{t-1}\cdot u_t\cdot {\nabla }_{\theta }f(s_t,{\mathbf{a}}_t;{\mathbf{\theta }}_{\mathrm{now}})$$

上述算法标准的 REINFORCE, 效果不如使用基线的 REINFORCE。可以用基线改进上面描述的算法。REINFORCE 算法属于同策略(on-policy),不能使用经验回放。

用 Actor-Critic 学习参数

Actor-critic 需要搭建一个价值网络 $q(s,\mathbf{a};\mathbf{w})$, 用于近似动作价值函数 $Q_{\pi }(s,\mathbf{a})$。价值网络的结构如图 10.12 所示。此外，还需要一个目标价值网络 $q(s,a;w^{-})$, 网络结构相同，但是参数不同。

在搭建好均值网络 $\mu$、方差对数网络 $\rho$、辅助网络 $f$、价值网络 $q$ 之后，我们用 SARSA 算法更新价值网络参数 $w$, 用近似策略梯度更新控制器参数 $\theta$。设当前参数为 $w_{\mathrm{now}}$ 和${\theta }_{\mathrm{now}}$。重复以下步骤更新价值网络参数、控制器参数，直到收敛：

1. 实际观测到当前状态 $s_t$,用控制器算出均值 $\mu (s_t;{\theta }_{\mathrm{now}})$ 和方差对数 $\rho (s_t;{\theta }_{\mathrm{now}})$,然后随机抽样得到动作$a_t$。智能体执行动作$a_t$, 观测到奖励$r_t$ 与新的状态$s_{t+1}$。

2. 计算均值 $\mu (s_{t+1};{\theta }_{\mathrm{now}})$ 和方差对数 $\rho (s_{t+1};{\theta }_{\mathrm{now}})$,然后随机抽样得到动作${\tilde{a}}_{t+1}$。这个动作只是假想动作，智能体不予执行。

3. 用价值网络计算出：

$$\widehat{q_t}=q(s_t,{\mathbf{a}}_{\mathbf{t}};{\mathbf{w}}_{\mathrm{now}}).$$

4. 用目标网络计算出：

$${\hat{q}}_{t+1}=q(s_{t+1},{\tilde{\mathbf{a}}}_{t+1};\overline{{\mathbf{w}}_{\mathrm{now}}}).$$

5. 计算 TD 目标和 TD 误差：

$${\hat{y}}_t=r_t+\gamma \cdot {\hat{q}}_{t+1},{\delta }_t={\hat{q}}_t-{\hat{y}}_t.$$

6. 更新价值网络的参数：

$${\mathbf{w}}_{\mathrm{new}}\leftarrow {\mathbf{w}}_{\mathrm{now}}-\alpha \cdot {\delta }_t\cdot {\nabla }_{\mathbf{w}q}(s_t,{\mathbf{a}}_{\mathbf{t}};{\mathbf{w}}_{\mathrm{now}}).$$

7. 更新策略网络参数参数：

$${\theta }_{\mathrm{new}}\leftarrow {\theta }_{\mathrm{now}}+\beta \cdot {\hat{q}}_t\cdot {\nabla }_{\mathbf{\theta }}f(s_t,{\mathbf{a}}_t;{\mathbf{\theta }}_{\mathrm{now}})$$

8. 更新目标网络参数：

$$\overline{{\mathbf{w}}_{\mathrm{new}}}\leftarrow \tau \cdot {\mathbf{w}}_{\mathrm{new}}+(1-\tau )\cdot {\mathbf{w}}_{\mathrm{now}}^{-}.$$

算法中的$\alpha$、β、$\tau$都是超参数，需要手动调整。上述算法是标准的 actor-critic. 效果不如advantage actor-critic (A2C)。可以用A2C改进上述方法。

总结

离散控制问题的动作空间 $A$ 是个有限的离散集，连续控制问题的动作空间 $A$ 是个连续集。如果想将 DQN 等离散控制方法应用到连续控制问题，可以对连续动作空间做离散化，但这只适用于自由度较小的问题。

可以用确定策略网络$a=\mu (s;\theta )$ 做连续控制。网络的输入是状态 $s$, 输出是动作$a$,$a$ 是向量，大小等于问题的自由度。

确定策略梯度 (DPG) 借助价值网络 $q(s,a;w)$ 训练确定策略网络。DPG 属于异策略，用行为策略收集经验，做经验回放更新策略网络和价值网络。

DPG 与 DQN 有很多相似之处，而且它们的训练都存在高估等问题。TD3 使用几种技巧改进 DPG: 截断双 Q 学习、往动作中加噪声、降低更新策略网络和目标网络的频率。

可以用随机高斯策略做连续控制。用两个神经网络分别近似高斯分布的均值和方差对数，并用策略梯度更新两个神经网络的参数。

后记

截至2024年1月30日13点04分，整理完王树森的《深度强化学习》的关于连续控制的笔记。