策略梯度（policy gradient, PG）是强化学习（reinforcement learning, RL）中一种经典的策略优化方法，已在自动驾驶^[1]、机器人操作^[2]、围棋游戏^[3]和自然语言处理^[4]等多类序列决策任务中取得显著成果. 在RL典型框架——马尔可夫决策过程（Markov decision process, MDP）中，智能体依据与环境交互获得的奖励信号来学习最优策略. 该方法核心思想是将与累计奖励相关的函数作为策略的目标函数, 并通过优化该目标函数获得最优策略^[5]，在形式上与传统随机优化问题相似. REINFORCE^[6]、GPOMDP^[7]等早期经典策略梯度方法，依赖蒙特卡洛梯度估计，普遍存在方差过高影响收敛性能的问题. 对此，提出2类解决思路. 1）设计替代目标函数，引入基线以减小梯度估计方差. Schulman等^[8]提出广义优势估计（generalized advantage estimation, GAE），在控制偏差的同时有效减小方差. 在优化过程中引入约束，通过加入Kullback-Leibler散度惩罚项限制策略更新幅度，或采用近端策略优化（proximal policy optimization，PPO）^[9]中的裁剪机制以隐式实现该约束. 基于小批量随机采样的双循环结构方差缩减算法可用来解决凸和非凸问题^[10]. Huang等人^[11]提出基于Bregman散度的策略优化框架，通过镜像下降方法进一步降低策略梯度方差. 随机镜像下降对称交替方向乘子法^[12]通过引入随机方差缩减算子，在非凸非光滑问题中进一步提升了效率. 2）通过引入方差缩减的梯度估计器来降低梯度估计方差，借鉴监督学习中的梯度估计器, 并结合强化学习的特点进行改进. 常用的监督学习梯度估计器包括：随机方差缩减梯度（stochastic variance reduced gradient, SVRG）^[13]、随机递归梯度（stochastic recursive gradient algorithm, SARAH）^[14]、随机路径集成差分估计器（stochastic path integrated differential estimator, SPIDER）^[15]、随机递归动量（stochastic recursive momentum, STORM）^[16]、概率梯度估计器（probabilistic gradient estimator, PAGE）^[17]. 这些估计器通过引入历史梯度信息进行更新, 在监督学习任务中成功降低了梯度估计方差. 然而, 监督学习中的目标函数通常是“无记忆”的，即损失函数的随机性不依赖于待优化参数，而在强化学习中，轨迹分布是非平稳的，且随着策略参数更新而变化. 因此, 学者们通常将监督学习中的梯度估计器与重要性采样（importance sampling, IS）或海森辅助的概率策略梯度方法（Hessian aided probabilistic policy gradient method，HAPPG）结合，构造出更适用于强化学习的梯度估计器. 例如：随机方差缩减策略梯度（stochastic variance reduced policy gradient, SVRPG）^[18]、随机递归方差缩减策略梯度（stochastic recursive variance reduced policy gradient, SRVRPG）^[19]、随机递归动量策略梯度（stochastic recursive momentum policy gradient, STORM-PG）^[20]、概率梯度估计策略梯度（probabilistic gradient estimation for policy gradient, PAGE-PG）^[21]、随机海森辅助递归策略梯度（stochastic Hessian aided recursive policy gradient, SHARP）^[22].

SVRPG和SRVRPG是最早引入历史梯度信息的强化学习估计器，需要交替使用大批量和小批量样本（重启机制）. STORM-PG通过指数移动平均替代重启机制来持续抑制方差积累，PAGE-PG则采用概率切换机制避免重启. 然而, STORM-PG随机梯度估计项存在方差较大的问题，PAGE-PG的复杂结构增加了实现难度. SHARP将STORM-PG中的IS技术替换为海森辅助技术，胡磊等^[23]提出海森辅助概率策略梯度方法（Hessian aided probabilistic policy gradient method，HAPPG），将二阶信息与方差缩减思想进行结合，但存在较大的计算开销. 虽然IS方法在新旧策略差异较大时可能导致权重方差增大，但这一问题可通过截断、归一化等技术缓解. 由于梯度估计器保留历史信息, 实践中新旧策略差异通常不会过大，使得IS方法仍具有实用价值.

为解决上述估计器存在的问题, 提出基于随机方差缩减的递归动量策略梯度（stochastic variance reduced recursive momentum policy gradient，SVRRM-PG）算法. SVRRM估计器^[24]是在STORM估计器的基础上对随机梯度估计部分进行更精确的建模. 具体而言，引入无环随机方差缩减梯度（loopless stochastic variance reduced gradient, L-SVRG）^[25]，在估计随机梯度时，结合参考点随机梯度估计与大批量梯度估计，提升STORM中随机梯度估计项的精度，使得估计过程更加稳健，参考点以一定概率更新或保持不变.

本研究在介绍SVRRM-PG算法技术细节中给出伪代码实现,通过理论分析证明其在小批量复杂度为$ \mathcal{O}(1) $、样本复杂度$ \mathcal{O}({\epsilon }^{-3}) $条件下可达到$ \epsilon $-平稳策略, 实现当前最优样本复杂度. 为体现SVRRM-PG估计器的泛化性能,提出SVR-PPO算法, 通过将SVRRM-PG与PPO结合并引入Adam优化器来提升泛化能力. 在实验部分, 评估SVRRM-PG相对于其他方差缩减算法的性能优势, 以及SVR-PPO相比原始PPO的改进效果.

RL通常被建模为离散时间马尔可夫决策过程，表示为$ \{\boldsymbol{S},\boldsymbol{A},P,R,\gamma ,\rho \} $. 式中：$ \boldsymbol{S} $为状态空间；$ \boldsymbol{A} $为动作空间；$ P(s'|s,a) $为在状态$ s $下采取动作$ a $转移到状态$ {s}^{\prime} $的概率；$ R $为奖励函数形式，$ R= $$ r(s,a) $；$ \gamma \in [0,1] $为折扣因子，用于对未来奖励施加指数衰减权重；$ \rho $为初始状态分布. 策略$ \pi (a|s) $为在状态$ s $下选择动作$ a $的概率，满足$ \displaystyle\sum\limits_{a\in {\boldsymbol{A}}}\pi (a|s)=1 $.

若记终止时刻为$ {H} $, 则在策略$ {\pi }_{\bf\textit{θ}} $下, 沿着轨迹$ {\bf\textit{τ}}=\{{s}_{0},{a}_{0},\cdots ,{s}_{H-1},{a}_{H-1} \}$所获得的累计折扣奖励为

(1)$ R({\bf\textit{τ}})=\displaystyle\sum\limits_{h=0}^{H-1}{\gamma }^{h}r({s}_{h},{a}_{h}). $

在初始状态分布$ \rho $条件下, 给定策略$ {\pi }_{\bf\textit{θ}}(\cdot |s) $, 轨迹$ {\bf\textit{τ}} $的概率可以表示为

(2)$ p({\bf\textit{τ}} |{\bf\textit{θ}})=\rho ({s}_{0})\displaystyle\prod\limits_{h=0}^{H-1}P({s}_{h+1}|{s}_{h},{a}_{h}){\pi }_{{\boldsymbol{\theta}} }({a}_{h}|{s}_{h}). $

RL目标是寻找一个最优策略, 以最大化累计折扣轨迹奖励，可以表示为

(3)$ {\max }_{{\bf\textit{θ}}\in {{{\bf{R}}}^{d}}}L({\bf\textit{θ}})={\max }_{{\bf\textit{θ}}\in {{{\bf{R}}}^{d}}}{{E}}_{{\bf\textit{τ}} \sim p({\bf\textit{τ}} |{\bf\textit{θ}})}\left[R({\bf\textit{τ}})\right]. $

式中：$ L({\bf\textit{θ}}) $为目标函数, 分布$ p $依赖于参数$ {\bf\textit{θ}} $且在优化过程中不断变化, 因此，公式（3）是一个非静态优化问题, 与传统监督学习的固定分布不同. 为解决该问题, Sutton等^[5]提出策略梯度算法, 通过计算目标函数$ L({\bf\textit{θ}}) $的梯度来进行优化，计算式为

(4)$ \nabla L({\bf\textit{θ}})={{E}}_{{\bf\textit{τ}} \sim p({\bf\textit{τ}} |{\bf\textit{θ}})}\left[\displaystyle\sum\limits_{h=0}^{H-1}\nabla \log {\pi }_{\bf\textit{θ}}\left({a}_{h}|{s}_{h}\right)R({\bf\textit{τ}} )\right]. $

由于分布$ p({\bf\textit{τ}} |{\bf\textit{θ}}) $未知，无法直接计算精确梯度. 蒙特卡洛方法提出定义$ g({{\bf\textit{τ}} }_{i},{\bf\textit{θ}}) $为基于轨迹$ {{\bf\textit{τ}} }_{i} $的无偏随机梯度估计，满足$ {E}\left[g({{\bf\textit{τ}} }_{i},{\bf\textit{θ}})\right]=\nabla L({\bf\textit{θ}}) $. 策略梯度方法通过采样一批数量为${B} $的轨迹来获得随机梯度估计，计算式为

(5)$\begin{split} \hat{\nabla }L({\bf\textit{θ}})= & \dfrac{1}{|{{B}}|}\displaystyle\sum\limits_{i\in B}g({{\bf\textit{τ}}}_{i},{\bf\textit{θ}})=\\& \dfrac{1}{|{{B}}|}\displaystyle\sum\limits_{i\in {\boldsymbol{B}}}\displaystyle\sum\limits_{h=0}^{H-1}\nabla \log {\pi }_{\bf\textit{θ}}\left(a_{h}^{i}|s_{h}^{i}\right)R({{\bf\textit{τ}} }_{i}).\end{split}$

在第$ t $次迭代中, 参数更新为

(6)$ {\bf\textit{θ}}_{t+1}={\bf\textit{θ}}_{t}+\eta \,\hat{\nabla }L({\bf\textit{θ}}). $

式中：$ t $为参数更新的迭代次数；$ {\bf\textit{θ}}_{t} $为第$ t $次迭代后的策略参数，每次参数更新对应处理一批轨迹数据；$ \eta $为学习率. 估计器即为REINFORCE梯度估计器，主要缺点是梯度估计方差会随情节长度累计. 为了进一步降低方差，Baxter等^[7]提出改进后的梯度估计器GPOMDP，仅考虑当前时刻之后的累计奖励（reward-to-go）而非整个轨迹奖励，同时在实际应用中引入基线$ b(s) $，利用性质$ {E}[{\nabla }_{\bf\textit{θ}}\log {\pi }_{\bf\textit{θ}}(a|s)b(s)]=0 $，进一步减小方差. 采用的GPOMDP估计器为

(7)$\begin{split} & g({{\bf\textit{τ}}}_{i},{\bf\textit{θ}})=\\& \displaystyle\sum\limits_{h=0}^{H-1}\displaystyle\sum\limits_{j=0}^{h}\left({\nabla }_{\bf\textit{θ}}\log {\pi }_{\bf\textit{θ}}(a_{j}^{i}|s_{j}^{i})\cdot \left({\gamma }^{h}r(s_{h}^{j},a_{h}^{j})-b(s_{j}^{i})\right)\right).\end{split}$

方差缩减梯度估计方法最初是为随机优化问题提出的，其最基本形式为

(8)$ {\min }_{{\bf\textit{θ}}\in {{R}^{d}}}{{E}}_{\boldsymbol{z}\sim p(\boldsymbol{z})}[f(\boldsymbol{z},{\bf\textit{θ}})]. $

式中：样本$ \boldsymbol{z} $从分布$ p(\boldsymbol{z}) $中抽取, 且$ f(\boldsymbol{z},\cdot ) $通常被假设为关于$ {\bf\textit{θ}} $的光滑非凸函数，该设定主要应用于监督学习场景中；$ {\bf\textit{θ}} $为模型的训练参数；$ \boldsymbol{z} $对应训练样本$ (\boldsymbol{x},\boldsymbol{y}) $（其中$ \boldsymbol{x} $为样本特征向量，$ \boldsymbol{y} $为对应标签）. 在此设定下，分布$ p(\boldsymbol{z}) $与参数$ {\bf\textit{θ}} $无关.

通用的方差缩减框架通常会利用历史梯度向量. 算法1给出此类方法的一个常见伪代码描述：采用周期性检查点机制，以在梯度估计精度与计算效率之间取得平衡. 当迭代次数$ t $为0或者为预定义检查点间隔$ {U} $的整数倍时，使用批量样本$ {B}_{\text{check}} $计算精确梯度估计；否则从分布$ p(\boldsymbol{z}) $中抽取小批量样本$ B $，在复用历史梯度的基础上添加差分校正，从而显著降低计算成本. 随后执行参数更新，并在末尾随机返回参数$ {\bf\textit{θ}}_{t} $，以避免收敛路径末端的随机波动，该框架被SARAH与SPIDER等方法广泛采用.

算法1　方差缩减方法的通用框架

输入：迭代次数$ T $，检查点间隔$ {U} $，学习率$ \eta $，检查点批量$ {B}_{\text {check }} $，训练批量$ B $，策略参数$ {\bf\textit{θ}} $，$ {{\bf\textit{δ}}}_{t} $表示梯度估计值

输出：策略参数$ {\bf\textit{θ}}_{t} $

for $ t:=0 $ 到 $ T-1 $ do

1. if $ t\;\text{mod}\; U\;\text{ == 0} $ then

$ {\delta }_{t}:=\dfrac{1}{|{B}_{\text{check}}|}\displaystyle\sum\limits_{z\in {B}_{\text{check}}}\nabla f(\boldsymbol{z},{\bf\textit{θ}}_{t}) $

2. else

$ {{\bf\textit{δ}}}_{t}:={{\bf\textit{δ}}}_{t-1}+\dfrac{1}{|B|}\displaystyle\sum\limits_{\boldsymbol{z}\in B}[\nabla f(\boldsymbol{z},{\bf\textit{θ}}_{t})-\nabla f(\boldsymbol{z},{\bf\textit{θ}}_{t-1})] $

3. end if

4. $ {\bf\textit{θ}}_{t+1}:={\bf\textit{θ}}_{t}-\eta {{\bf\textit{δ}}}_{t} $

5. end for

6. 从$ 0, \cdots, T-1 $中随机选取$ t $

7. return $ {\bf\textit{θ}}_{t} $

方差缩减技术在监督学习中的成功实践, 使得大量研究学者开始探索其在RL中的应用潜力. 然而, 该研究领域面临诸多挑战. 其一是强化学习任务具有动态性和不确定性，无法直接使用全梯度下降法更新参数，只能依赖大批量数据进行近似估计，但在RL中大批量数据采样成本较高；其二是目标函数的非凸性导致难以验证算法是否能收敛到全局最优解；其三是RL具有非遗忘性, 样本数据（$ {\boldsymbol{x}}_{i},{\boldsymbol{y}}_{i} $）所对应的轨迹$ {\bf\textit{τ}} $并非来自稳定的采样分布，而是随着策略参数$ {\bf\textit{θ}} $不断变化. 针对上述问题， 已提出相应的解决方案. 1）采用类似于式（5）的方法对梯度进行近似估计, 并尽可能使用小批量样本以降低采样成本；2）从梯度数值有界性出发，证明算法能够收敛到一个$ \epsilon $-稳定解. 当RL任务采用高斯策略或Softmax策略时，目标函数$ L({\bf\textit{θ}}) $满足Lipschitz平滑性，从而具备梯度有界性质^{[26, 27]}；3）针对策略更新引起的分布偏移，引入重要性采样技术进行校正，计算式为

(9)$ \begin{rcases}{g}^{{{\omega }_{{{\bf\textit{θ}}_{t}}}}}({\bf\textit{τ}},{\bf\textit{θ}}_{t-1})=\omega ({\bf\textit{τ}} |{\bf\textit{θ}}_{t},{\bf\textit{θ}}_{t-1})\,g({\bf\textit{τ}} ,{\bf\textit{θ}}_{t-1}),\\\omega ({\bf\textit{τ}}|{\bf\textit{θ}}_{t},{\bf\textit{θ}}_{t-1})=\displaystyle\prod\limits_{h=0}^{H-1}\dfrac{{\pi }_{{{\bf\textit{θ}}_{t-1}}}({a}_{h}|{s}_{h})}{{\pi }_{{{\bf\textit{θ}}_{t}}}({a}_{h}|{s}_{h})}\end{rcases}$

方差缩减技术与RL结合，有助于降低梯度估计带来的方差，进一步提升任务与环境交互中高成本数据的利用率. 本研究提出SVRRM-PG算法，基于SVRRM监督学习估计器^[24]，保持动量更新机制的同时融合L-SVRG思想处理随机梯度部分，从而进一步降低方差并加快收敛速度.

在介绍SVRRM-PG算法之前，先给出监督学习形式下的STORM估计器和L-SVRG估计器，以便后续分析说明.

(10)$ {\boldsymbol{d}}_{t}=\alpha \underset{\text{SGD}}{\underbrace{g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t})} }+(1-\alpha )\underset{\text{SARAH}}{\underbrace{\left[{\boldsymbol{d}}_{t-1}+g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t})-g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t-1})\right]} }.$

(11)$ \begin{rcases}{\boldsymbol{v}}_{t}=g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t})-g({{\bf\textit{τ}}}_{i}|{\tilde{{\bf\textit{θ}} }\text{}}_{t})+g({\bf\textit{τ}}|{\tilde{{\bf\textit{θ}} }\text{}}_{t}),\\{\tilde{{\bf\textit{θ}} }\text{}}_{t+1}=\begin{cases} {\bf\textit{θ}}_{t}, & 概率{p}_{0};\\{\tilde{{\bf\textit{θ}} }\text{}}_{t}, & 概率1-{p}_{0}.\end{cases}\end{rcases}$

式中：$ {\boldsymbol{d}}_{t} $和$ {\boldsymbol{v}}_{t} $分别为经过STORM估计器和L-SVRG估计器修正后的无偏梯度估计值；$ \alpha $范围为（0，1）； $ \tilde{{\bf\textit{θ}} }\text{} $为参考点，反映过去某一时刻的策略参数，在实际计算中须引入重要性权重进行修正，${\tilde{{\bf\textit{θ}} }} $并非每轮随着策略参数一起更新，而是选用概率更新，以节省计算资源.

算法2描述SVRRM-PG基本框架，如前文提到RL任务具有非遗忘性或非平稳性，即底层分布$ p({\bf\textit{τ}}|{\bf\textit{θ}}) $依赖于策略参数$ {\bf\textit{θ}} $并随整个优化过程变化.

算法2　SVRRM-PG算法

输入：迭代次数$ T $，初始采样批量$ {S}_{1} $，学习率$ \eta $，小批量采样$ B $，大批量采样$ {{Q}} $，策略参数$ {\bf\textit{θ}} $，判断概率$ {p}_{0} $， 动量因子$ \alpha $，参考点$ \tilde{{\bf\textit{θ}} }\text{} $；

输出：策略参数$ {\bf\textit{θ}}_{t} $；

for $ t:=1 $ 到 $ T $ do

1.　if $ t=1 $ then

2.　　　$ {\bf\textit{θ}}_{1}\colon =\tilde{{\boldsymbol{\theta}} }\text{} $

3.　　　用$ {\bf\textit{θ}}_{1} $采样$ {S}_{1} $条轨迹$ {{\bf\textit{τ}}}_{i} $，计算：

　　　 $ {\boldsymbol{d}}_{1}=\dfrac{1}{{S}_{1}}\displaystyle\sum\limits_{i=1}^{{S}_{1}}g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{1}) $

4.　　　将采样轨迹加入经验池

5.　else

6.　　　用当前策略参数$ {\bf\textit{θ}}_{t} $采样$ B $条轨迹$ {{\bf\textit{τ}}}_{i} $

7.　　　将轨迹加入经验池

8.　　　计算控制方差的估计量$ {\boldsymbol{v}}_{t} $

$ {\boldsymbol{v}}_{t}=\dfrac{1}{{B}}\displaystyle\sum\limits_{i=1}^{{B}}g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t})-\dfrac{1}{{B}}\displaystyle\sum\limits_{i=1}^{{B}}{g}^{{{\omega }_{{{\bf\textit{θ}}_{t}}}}}({{\bf\textit{τ}}}_{i}|{\tilde{{\bf\textit{θ}} }\text{}}_{t})+\dfrac{1}{Q}\displaystyle\sum\limits_{i=1}^{Q}{g}^{{{\omega }_{{{\bf\textit{θ}}_{t}}}}}({{\bf\textit{τ}}}_{i}|{\tilde{{\bf\textit{θ}} }\text{}}_{t}) $

9.　　　计算$ {\boldsymbol{d}}_{t} $更新动量方向

$ {\boldsymbol{d}}_{t}=\alpha {\boldsymbol{v}}_{t}+(1-\alpha )\left[{\boldsymbol{d}}_{t-1}+\dfrac{1}{{B}}\displaystyle\sum\limits_{i=1}^{{B}}g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t})-\dfrac{1}{{B}}\displaystyle\sum\limits_{i=1}^{{B}}{g}^{{{\omega }_{{{\bf\textit{θ}}_{t}}}}}({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t-1})\right] $

10.　end if

11.　更新策略参数: $ {\bf\textit{θ}}_{t+1}:={\bf\textit{θ}}_{t}+\eta {\boldsymbol{d}}_{t} $

12.　从区间$ (0,1) $中随机采样$ \delta $

13.　if $ \delta \leqslant {p}_{0} $ then

14.　　 更新参考点: $ {\tilde{{\bf\textit{θ}} }\text{}}_{t+1}:={\bf\textit{θ}}_{t} $

15.　else

16.　　 保持参考点不变: $ {\tilde{{\bf\textit{θ}} }\text{}}_{t+1}:={\tilde{{\bf\textit{θ}} }\text{}}_{t} $

17.　end if

18.　end for

19.　return 返回$ {\bf\textit{θ}}_{t} $

在每次策略参数更新时，对应策略也会随之改变. 为有效利用历史数据，可借助式（9）所示重要性采样技术对分布偏移进行校正. SVRRM-PG具体更新形式如下：

(12)$\begin{split} & {\boldsymbol{v}}_{t}=\dfrac{1}{{B}}\displaystyle\sum\limits_{i=1}^{{B}}g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t})-\dfrac{1}{{B}}\displaystyle\sum\limits_{i=1}^{{B}}{g}^{{{\omega }_{{{\bf\textit{θ}}_{t}}}}}({{\bf\textit{τ}}}_{i}|{\tilde{{\bf\textit{θ}} }\text{}}_{t})+\dfrac{1}{Q}\displaystyle\sum\limits_{i=1}^{Q}{g}^{{{\omega }_{{{\bf\textit{θ}}_{t}}}}}({{\bf\textit{τ}}}_{i}|{\tilde{{\bf\textit{θ}} }\text{}}_{t})\text{，}\\& {\boldsymbol{d}}_{t}=\alpha \underset{\text{L-SVRG}}{\underbrace{{\boldsymbol{v}}_{t}} }+(1-\alpha )\cdot \\& \qquad \underset{\text{SARAH}}{\underbrace{\left[{\boldsymbol{d}}_{t-1}+\dfrac{1}{{B}}\displaystyle\sum\limits_{i=1}^{{B}}g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t})-\dfrac{1}{{B}}\displaystyle\sum\limits_{i=1}^{{B}}{g}^{{{\omega }_{{{\bf\textit{θ}}_{t}}}}}({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t-1})\right]} }.\end{split}$

式中：B、Q分别为采样的小批量轨迹数量和大批量轨迹数量. 当$ \alpha =1 $时，SVRRM-PG估计器退化为L-SVRG估计器（适用于RL任务）；当$ \alpha =0 $时，SVRRM-PG估计器退化为STORM估计器原始形态SARAH估计器.

从式（10）STORM估计器第一项可知，$ \alpha $越大，$ {\boldsymbol{d}}_{t} $对$ {\bf\textit{θ}}_{t} $的样本梯度越敏感，从而加速前期收敛速度，且（$ 1-\alpha $）较小，可以在前期抑制由策略更新导致的策略分布偏移. 为了实现更快的方差缩减， 通常需要选择较大的$ \alpha $，但是将不可避免地加剧右侧第1项随机梯度下降（stochastic gradient descent，SGD）带来的方差影响. 因此，将高方差$ g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t}) $换为低方差$ {\boldsymbol{v}}_{t} $，在$ \alpha $选取上会提升其鲁棒性和收敛速度.

定义误差项$ {\varDelta }_{t}={\boldsymbol{d}}_{t}-\nabla L({\bf\textit{θ}}_{t}) $，可验证如下性质：

(13)$\begin{split} & {E}[{\varDelta }_{t}]= {E}\Bigg[(1-\alpha ){\varDelta }_{t-1}+\alpha \underset{={{{\boldsymbol{Z}}}}_{1}}{\underbrace{({\boldsymbol{v}}_{t}-\nabla L({\bf\textit{θ}}_{t}))} }+(1-\alpha )\text{，}\\& \underset{={{{\boldsymbol{Z}}}}_{2}}{\underbrace{\left( \dfrac{1}{\boldsymbol{B}} \displaystyle\sum\limits_{i=1}^{\boldsymbol{B}}g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t})-\dfrac{1}{\boldsymbol{B}} \displaystyle\sum\limits_{i=1}^{\boldsymbol{B}}{g}^{{{\omega }_{{{{\bf\textit{θ}} }_{t}}}}}({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t-1}) - \nabla L({\bf\textit{θ}}_{t}) + \nabla L({\bf\textit{θ}}_{t-1}) \right) \Bigg]} } =\\& \ (1-\alpha ){E}[{{\varDelta }_{t-1}}].\end{split}$

式中：$ {{E}}_{{\bf\textit{τ}}}\sim p({\bf\textit{τ}}|{\bf\textit{θ}}_{t})[{\boldsymbol{Z}}_{1}]=0 $，$ {{E}}_{{\bf\textit{τ}}}\sim p({\bf\textit{τ}}|{\bf\textit{θ}}_{t})[{\boldsymbol{Z}}_{2}]=0 $通过Cauchy-Schwarz不等式可以得到

(14)$ \begin{split} & {E}||\,{\varDelta }_{t}|{|}^{2}\leqslant\\& (1-\alpha )^{2}{E}||\,{\varDelta }_{t-1}\,{||}^{2}+2{\alpha }^{2}{E}||\,{\boldsymbol{Z}}_{1}\,{||}^{2}+ 2(1-\alpha )^{2}{E}||\,{\boldsymbol{Z}}_{2}\,{||}^{2}.\end{split} $

式中：$ \mathcal{O}(||{\boldsymbol{Z}}_{2}|{|}^{2})=\mathcal{O}(||{\bf\textit{θ}}_{t}-{\bf\textit{θ}}_{t-1}|{|}^{2})=\mathcal{O}({\eta }^{2}||{\boldsymbol{d}}_{t}|{|}^{2}) $，$ \mathcal{O} $为渐进上界，则$ {E}\| \,{\varDelta }_{t}\,{\| }^{2} $上界会受参数$ \eta $和$ \alpha $影响，右边第1、3项需要较大的$ \alpha $，第2项需要较小的$ \alpha $，$ \eta $需要结合后续实验来选择.

从算法2伪代码可以看出，为了充分利用历史数据，每次采样轨迹后都会将它们添加到经验池中. 在计算参考点大批量梯度时，即式（12）中$ {\boldsymbol{v}}_{t} $更新式第3项，从经验池选出最新的$ {{Q}} $条轨迹，并结合参考点$ \tilde{{\bf\textit{θ}} }\text{} $进行梯度计算. 值得注意的是，经验池中的数据合并了多组策略参数采样所得的混合轨迹，并使用统一参考点进行近似运算，这在强化学习中是合理的.

方差缩减策略梯度算法理论分析通常建立在RL若干常见假设下，这些假设在实际中合理且成立. 在此基础上，推导出目标函数$ L(\theta ) $梯度收敛的上界，进而验证SVRRM-PG算法可以在最优样本复杂度$ \mathcal{O}({\epsilon }^{-3}) $下达到$ {\epsilon}{-} $稳定解. 将参数$ {L}_{d}、{C}_{\gamma }、R、{N}_{1}、 {N}_{2}、\varDelta、\sigma $视为全局参数，令$ {{B}} $为第$ t $次迭代样本轨迹数量，$ {{Q}} $为大批量梯度样本轨迹数.

假设1　对于任意$ s\in \boldsymbol{S} $、$ a\in \boldsymbol{A} $，若$ {R}_{0} $是任意大于$ 0 $的常数，则奖励函数$ R(s,a) $满足如下有界条件：

(15)$ |r(s,a)|\leqslant {R}_{0};\;\forall s\in \boldsymbol{S}, \;a\in \boldsymbol{A}. $

假设2　存在2个常数$ {{{N}}}_{1} $和$ {{{N}}}_{2} $，使得对于任意${\boldsymbol{ \theta}} \in {\bf{R}}^{d} $，以及任意状态$ s\in \boldsymbol{S} $和动作$ a\in \boldsymbol{A} $，有

(16)$ \left| \nabla \log {\pi }_{\boldsymbol{ \theta}}(a|s)\right| \leqslant {{{N}}}_{1}; $

(17)$ \left| {\nabla }^{2}\log {\pi }_{\boldsymbol{ \theta}}(a|s)\right| \leqslant {{{N}}}_{2}. $

假设3　随机梯度$ g({\bf\textit{τ}}|{\bf\textit{θ}}) $的方差是有界的，即存在常数$ \sigma \gt 0 $，使得对于所有的策略$ {\pi }_{\bf\textit{θ}} $，都有

(18)$ {{\text{Var}}}[g({\bf\textit{τ}}|{\bf\textit{θ}})]\leqslant {\sigma }^{2}. $

假设4　对于任意$ {\bf\textit{θ}}_{1},{\bf\textit{θ}}_{2}\in {\bf{R}}^{d} $，使用$ \omega ({\bf\textit{τ}}|{\bf\textit{θ}}_{1},{\bf\textit{θ}}_{2}) $表示重要性采样权重，即$ p({\bf\textit{τ}}|{\bf\textit{θ}}_{1})/p({\bf\textit{τ}}|{\bf\textit{θ}}_{2}) $，存在常数$ {{{N}}}_{3} $使得该权重方差有界：

(19)$ {\mathrm{Var}}(\omega ({\bf\textit{τ}}|{\bf\textit{θ}}_{1},{\bf\textit{θ}}_{2}))\leqslant {{{N}}}_{3}. $

引理1^[19]　根据假设2, 有$ g({\bf\textit{τ}}|{\bf\textit{θ}}) $是可微的, 即

(20)$ \left\|g({\bf\textit{τ}}|{\bf\textit{θ}})-g({\bf\textit{τ}}|{{\bf\textit{θ}} }^{\prime}\text{})\right\|\leqslant {L}_{d}\left\|{\bf\textit{θ}}-{{\bf\textit{θ}} }^{\prime}\text{}\right\|,\;{L}_{d}=\dfrac{{N}_{2}R}{{(1-\gamma )}^{2}}. $

引理2^[20]　

(21)$ {E}{\left\|{g}^{{{\bf\textit{θ}}_{t+1}}}({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t})-g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t+1})\right\|}^{2}\leqslant {C}_{\gamma }{\left\|{\bf\textit{θ}}_{t+1}-{\bf\textit{θ}}_{t}\right\|}^{2}. $

式中：$ {C}_{\gamma } $为依赖$ \gamma $的常数. 该引理表明，$ {g}^{{{\bf\textit{θ}}_{t+1}}}({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t}) $与$ g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t+1}) $的期望平方误差被$ {\bf\textit{θ}}_{t} $与$ {\bf\textit{θ}}_{t+1} $的距离平方所限制.

定理1　在假设1~4成立的前提下, 累计期望估计误差满足：

(22)$ \begin{split} \displaystyle\sum\limits_{t=0}^{T-1}{E}{\left|\left|{\boldsymbol{d}}_{t}-{\nabla }_{\bf\textit{θ}}L({\bf\textit{θ}}_{t})\right|\right|}^{2}\leqslant & \dfrac{2C_{\gamma }^{2}{\eta }^{2}M}{BQ\alpha }\displaystyle\sum\limits_{t=0}^{T-1}{E}{\left|\left|{\boldsymbol{d}}_{t}\right|\right|}^{2}+\dfrac{2T\alpha {\sigma }^{2}}{Q}+\\& \dfrac{2}{\alpha }{E}\left[{\left|\left|{\boldsymbol{d}}_{0}-{\nabla }_{\bf\textit{θ}}L({\bf\textit{θ}}_{0})\right|\right|}^{2}\right].\end{split} $

式中：$ M $为由$ Q $、$ B $、$ \alpha $、$ {p}_{0} $组成的参数值. 定理1表明梯度估计值$ {\boldsymbol{d}}_{t} $与真实梯度值$ {\nabla }_{\bf\textit{θ}}L({\bf\textit{θ}}_{t}) $的累计期望误差存在理论上界，该上界直接为后续定理2的收敛证明奠定了基础，并且可以得出该累计误差受$ Q $、$ B $、$ \alpha $、$ {p}_{0} $、$ \eta $参数值影响.

证明　将$ \dfrac{1}{{{Q}}}\displaystyle\sum\limits_{i=1}^{{{Q}}}g({{\bf\textit{τ}} }_{i}\mid {\tilde{{\bf\textit{θ}} }}_{t}) $记为$ \dfrac{{{Q}}({\tilde{{\bf\textit{θ}} }}_{t})}{{{Q}}} $，$ \dfrac{1}{{{B}}}\displaystyle\sum\limits_{i=1}^{{{B}}} g({{\bf\textit{τ}} }_{i}\mid {{\bf\textit{θ}} }_{t}) $记为$ \dfrac{G({{\bf\textit{θ}} }_{t})}{{{B}}} $，$ \dfrac{1}{{{B}}}\displaystyle\sum\limits_{i=1}^{{{B}}}g({{\bf\textit{τ}} }_{i}\mid {\tilde{{\bf\textit{θ}} }}_{t}) $记为$ \dfrac{G({\tilde{{\bf\textit{θ}} }}_{t})}{{{B}}} $，$ \dfrac{1}{{{B}}}\displaystyle\sum\limits_{i=1}^{{{B}}}g({{\bf\textit{τ}} }_{i}\mid {{\bf\textit{θ}} }_{t-1}) $记为$ \dfrac{G({{\bf\textit{θ}} }_{t-1})}{{{B}}} $. 令$ {\mathcal{F}}_{h} $为迭代到$ h $时刻的状态信息，有$ {E}[\| {{\boldsymbol{d}}}_{t+1}-\nabla L({{\bf\textit{θ}} }_{t+1}){\| }^{2}] = {E}\left[{E}[\| {{\boldsymbol{d}}}_{t+1}-\nabla L({{\bf\textit{θ}} }_{t+1}){\| }^{2}\mid {\mathcal{F}}_{h}]\right] $，则由全期望公式得

(23)$ \begin{split} & {E}[\| {{\boldsymbol{d}}}_{t+1}-\nabla L({{\bf\textit{θ}} }_{t+1})\| {}^{2}|{\mathcal{F}}_{h}]=\\& \quad {p}_{0}{E}\Bigg[\| \alpha \left[\dfrac{G({{\bf\textit{θ}} }_{t+1})}{B}-\dfrac{{G}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})}{B}+\dfrac{{Q}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})}{Q}\right]+\\& \quad (1-\alpha )\left[{{\boldsymbol{d}}}_{t}+\dfrac{G({{\bf\textit{θ}} }_{t+1})}{B}-\dfrac{{G}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})}{B}\right]-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t+1})\| {}^{2}|{\mathcal{F}}_{h}\Bigg]+\\& \quad (1-p){E}\Bigg[\| \alpha \left[\dfrac{G({{\bf\textit{θ}} }_{t+1})}{B}-\dfrac{{G}^{{{{\bf\textit{θ}} }_{t+1}}}({\tilde{{\bf\textit{θ}} }}_{t})}{B}+\dfrac{{Q}^{{{{\bf\textit{θ}} }_{t+1}}}({\tilde{{\bf\textit{θ}} }}_{t})}{Q}\right]+\\& \quad (1-\alpha )\left[{{\boldsymbol{d}}}_{t}+\dfrac{G({{\bf\textit{θ}} }_{t+1})}{B}-\dfrac{{G}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})}{B}\right]-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t+1})\| {}^{2}|{\mathcal{F}}_{h}\Bigg].\end{split} $

先处理式（23）的第一项

(24)$ \begin{split} & {p}_{0}{E}\Bigg[\| \alpha \left[\dfrac{G({{\bf\textit{θ}} }_{t+1})}{B}-\dfrac{{G}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})}{B}+\dfrac{{Q}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t}}{Q})\right]+(1-\alpha )*\left[{\boldsymbol{d}}_{t}+\dfrac{G({{\bf\textit{θ}} }_{t+1})}{B}-\dfrac{{G}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})}{B}\right]-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t+1})\| {}^{2}|{\mathcal{F}}_{h}\Bigg]=\\& {p}_{0}{E}\Bigg[\| (1-\alpha )({\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t}))+(1-\alpha )\cdot \left[\dfrac{1}{B}(G({{\bf\textit{θ}} }_{t+1})-{G}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t}))-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t+1})+{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\right]+\\& \alpha \left[\dfrac{1}{B}G({{\bf\textit{θ}} }_{t+1})-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t+1})\right]+\alpha \dfrac{1}{B}\left[G({{\bf\textit{θ}} }_{t+1})-G_{t+1}^{{\bf\textit{θ}} }({{\bf\textit{θ}} }_{t})\right]+\alpha \dfrac{1}{Q}\left[Q({{\bf\textit{θ}} }_{t+1})-Q_{t+1}^{{\bf\textit{θ}} }({{\bf\textit{θ}} }_{t})\right]-\alpha \dfrac{1}{B}G({{\bf\textit{θ}} }_{t+1})+\\& \alpha \dfrac{1}{Q}Q({{\bf\textit{θ}} }_{t+1})\| {}^{2}|{\mathcal{F}}_{h}\Bigg]= {p}_{0}\Bigg\{(1-\alpha )^{2}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}+\dfrac{2{\alpha }^{2}{\sigma }^{2}}{B}+\dfrac{1}{B}2(1-\alpha )^{2} {E}\Bigg[\| G({{\bf\textit{θ}} }_{t+1})-{G}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t}))-\\& {\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t+1}) + {\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}|{\mathcal{F}}_{t}\Bigg] + \dfrac{{\alpha }^{2}}{B}{E}[\| G({{\bf\textit{θ}} }_{t+1} ) - {G}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})\| {}^{2}|{\mathcal{F}}_{h}]- \dfrac{{\alpha }^{2}}{Q}{E}[\| Q({{\bf\textit{θ}} }_{t+1})-{Q}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})\| {}^{2}|{\mathcal{F}}_{t}]-\dfrac{2{\alpha }^{2}{\sigma }^{2}}{B}+\dfrac{2{\alpha }^{2}{\sigma }^{2}}{Q}\Bigg\}\overset{(\text{a})}{\leqslant }\\& {p}_{0}\Bigg\{(1-\alpha )^{2}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}+\dfrac{2{\alpha }^{2}{\sigma }^{2}}{Q}+ \dfrac{1}{B}2(1-\alpha )^{2}{E}[\| G({{\bf\textit{θ}} }_{t+1}) - {G}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})\| {}^{2}|{\mathcal{F}}_{h}]+ \\&\dfrac{{\alpha }^{2}}{B}{E}[\| G({{\bf\textit{θ}} }_{t+1})-{G}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})\| {}^{2}|{\mathcal{F}}_{h}]- \dfrac{{\alpha }^{2}}{Q}{E}[\| Q({{\bf\textit{θ}} }_{t+1})-{Q}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})\| {}^{2}|{\mathcal{F}}_{h}]\Bigg\}\overset{(\text{b})}{\leqslant } {p}_{0}\Bigg\{(1-\alpha )^{2}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}+\dfrac{2{\alpha }^{2}{\sigma }^{2}}{Q}+\\& \dfrac{1}{B}2(1-\alpha )^{2}C_{\gamma }^{2}{E}[\| {{\bf\textit{θ}} }_{t+1}-{{\bf\textit{θ}} }_{t}\| {}^{2}|{\mathcal{F}}_{h}]+ \dfrac{1}{B}2{\alpha }^{2}C_{\gamma }^{2}{E}[\| {{\bf\textit{θ}} }_{t+1} - {{\bf\textit{θ}} }_{t}\| {}^{2}|{\mathcal{F}}_{h}] - \dfrac{1}{Q}2{\alpha }^{2}C_{\gamma }^{2}{E}[\| {{\bf\textit{θ}} }_{t+1} - {{\bf\textit{θ}} }_{t}\| {}^{2}|{\mathcal{F}}_{h}]\Bigg\}=\\& {p}_{0}\Bigg\{(1 - \alpha )^{2}\| {\boldsymbol{d}}_{t} - {\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}+\dfrac{2{\alpha }^{2}{\sigma }^{2}}{Q} + \dfrac{2C_{\gamma }^{2}{\eta }^{2}}{BQ}{Y}_{1}{E}[\| {\boldsymbol{d}}_{t}\| {}^{2}\Bigg\}.\end{split} $

$ ({\mathrm{a}}) $式来源于不等式$ {E}\| Z-{E}(Z){\| }^{2}\leqslant {E}\| Z{\| }^{2} $，$ ({\mathrm{b}}) $式来源于引理2中策略函数的$ \text{L} $平滑性，$ {Y}_{1}= Q{(1- \alpha )}^{2}+ Q{\alpha }^{2}-B{\alpha }^{2} $. 用同样的方法处理第二部分

(25)$ \begin{split} & (1-{p}_{0}){E}\Bigg[\| \alpha \left[\dfrac{G({{\bf\textit{θ}} }_{t+1})}{B}-\dfrac{{G}^{{{{\bf\textit{θ}} }_{t+1}}}({\tilde{{\bf\textit{θ}} }}_{t})}{B}+\dfrac{{Q}^{{{{\bf\textit{θ}} }_{t+1}}}({\tilde{{\bf\textit{θ}} }}_{t})}{Q}\right]+ (1-\alpha )\left[{\boldsymbol{d}}_{t}+\dfrac{G({{\bf\textit{θ}} }_{t+1})}{B}-\dfrac{{G}^{{{{\bf\textit{θ}} }_{t+1}}}({{\bf\textit{θ}} }_{t})}{B}\right]-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t+1})\| {}^{2}|{\mathcal{F}}_{h}\Bigg]=\\& (1 - {p}_{0}) \left\{ (1 - \alpha )^{2}\| {\boldsymbol{d}}_{t} - {\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2} + \dfrac{2{\alpha }^{2}{\sigma }^{2}}{Q} + \dfrac{2C_{\gamma }^{2}{\eta }^{2}}{BQ}{Y}_{2}{E}[\| {\boldsymbol{d}}_{t}\| {}^{2} \right\}.\end{split} $

式中：$ {Y}_{2}=Q{(1-\alpha )}^{2}+Q{\alpha }^{2}{W}^{2}-B{\alpha }^{2}{W}^{2} $（$ \text{W} $为常数，取自不等式$ {E}\| {{\bf\textit{θ}} }_{t+1}-{\tilde{{\bf\textit{θ}} }}_{t}{\| }^{2}\leqslant {W}^{2}{E}\| {{\bf\textit{θ}} }_{t+1}-{{\bf\textit{θ}} }_{t}{\| }^{2} $)，在每次迭代中求期望

(26)$ \begin{split} & {E}[\| {\boldsymbol{d}}_{t+1}-\nabla L({{\bf\textit{θ}} }_{t+1})\| {}^{2}] = {E}\left[{E}[\| {\boldsymbol{d}}_{t+1}-\nabla L({{\bf\textit{θ}} }_{t+1})\| {}^{2}|{\mathcal{F}}_{t}]\right] \leqslant {p}_{0}\left\{ (1 - \alpha )^{2}{E}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2} + \dfrac{2{\alpha }^{2}{\sigma }^{2}}{Q} + \dfrac{2C_{\gamma }^{2}{\eta }^{2}}{BQ}{Y}_{1}{E}[\| {\boldsymbol{d}}_{t}\| {}^{2} \right\} + \\& (1-{p}_{0})\Bigg\{{(1-\alpha )}^{2}{E}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}+\dfrac{2{\alpha }^{2}{\sigma }^{2}}{Q}+ \dfrac{2C_{\gamma }^{2}{\eta }^{2}}{BQ}{Y}_{2}{E}[\| {\boldsymbol{d}}_{t}\| {}^{2}\Bigg\}= {(1-\alpha )}^{2}{E}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}+ \dfrac{2{\alpha }^{2}{\sigma }^{2}}{Q}+\dfrac{2C_{\gamma }^{2}{\eta }^{2}}{BQ}M{E}\| {\boldsymbol{d}}_{t}\| {}^{2}.\end{split} $

式中：$ M={p}_{0}{Y}_{1}+(1-{p}_{0}){Y}_{2} $. 对两边进行从$ t=0 $至$ t=T-1 $求和并移项可得：

(27)$ \displaystyle\sum\limits_{t=1}^{T}{E}[\| {\boldsymbol{d}}_{t}-\nabla L({{\bf\textit{θ}} }_{t})\| {}^{2}]-(1-\alpha )^{2}\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}\leqslant \dfrac{2T{\alpha }^{2}{\sigma }^{2}}{Q}+\dfrac{2C_{\gamma }^{2}{\eta }^{2}}{BQ}M\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\boldsymbol{d}}_{t}\| {}^{2}.$

因此, 可证

(28)$ \begin{split} & \alpha \displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}= \displaystyle\sum\limits_{t=1}^{T}{E}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}-(1-\alpha )\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}- {E}[\| {\boldsymbol{d}}_{T}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{T})\| {}^{2}-\\&\| {\boldsymbol{d}}_{0}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{0})\| {}^{2}]\overset{(a)}{\leqslant } \displaystyle\sum\limits_{t=1}^{T}{E}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}-(1-\alpha )^{2}\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\| {}^{2}- {E}[\| {\boldsymbol{d}}_{T}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{T})\| {}^{2}-\\& \| {\boldsymbol{d}}_{0}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{0})\| {}^{2}]\dfrac{2T{\alpha }^{2}{\sigma }^{2}}{Q}+\dfrac{2C_{\gamma }^{2}{\eta }^{2}}{BQ}M \displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\boldsymbol{d}}_{t}\| {}^{2}+2{E}[\| {\boldsymbol{d}}_{0}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{0})\| {}^{2}].\end{split} $

不等式$ \left({\mathrm{a}}\right) $来自于式（27），整理可得

(29)$ \displaystyle\sum\limits_{t=0}^{T-1}{E}{\left|\left|{\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\right|\right|}^{2}\leqslant \dfrac{2C_{\gamma }^{2}{\eta }^{2}M}{BQ\alpha }\displaystyle\sum\limits_{t=0}^{T-1}{E}{\left|\left|{\boldsymbol{d}}_{t}\right|\right|}^{2}+ \dfrac{2T{\alpha }^{2}{\sigma }^{2}}{Q\alpha }+\dfrac{2}{\alpha }{E}\left[{\left|\left|{\boldsymbol{d}}_{0}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{0})\right|\right|}^{2}\right].$

定理2　在上述假设1、假设2条件下，令参数满足$ p\in (0,1) $、$ \alpha \in (0,1) $、$ B\in {{\bf{N}}} $、$ Q\in {{\bf{N}}} $、$ \eta \leqslant \dfrac{Q\epsilon \sqrt{B}}{2\sqrt{6}{C}_{\gamma }\sigma \sqrt{Q}} $、$ {S}_{1}=\mathcal{O}({\sigma }^{2}{\epsilon }^{-2}) $，则$ T $次迭代内的平均期望梯度满足

(30)$ \dfrac{1}{T}\displaystyle\sum\limits_{t=0}^{T-1}E{\left|\left|{\nabla }_{\bf\textit{θ}}L({\bf\textit{θ}}_{t})\right|\right|}^{2}\leqslant \dfrac{2\varDelta }{\eta T}+\dfrac{2\alpha {\sigma }^{2}}{Q}+\dfrac{2{\sigma }^{2}}{T{S}_{1}\alpha }. $

式中：$ \varDelta =L({\bf\textit{θ}}_{0})-L({\bf\textit{θ}}_{*}) $是一个常数，表述初始化值与最优值之间的差值. 从定理2可以看出，$ T $次迭代的平均期望梯度已经收敛到一个极小值，这表明在非凸优化问题中已经找到$ \epsilon $-稳定解. 方差缩减算法最终应该是在降低方差的同时，收敛到$ \epsilon $-稳定解，否则将没有意义. 同时由定理2可以进而推出后续推论1，从样本复杂度方面说明SVRRM-PG算法的有效性.

证明：

(31)$ \begin{split} & L({{\bf\textit{θ}} }_{t+1})= L({{\bf\textit{θ}} }_{t}+\eta {\boldsymbol{d}}_{t})\geqslant \\& L({{\bf\textit{θ}} }_{t})+\eta \left\langle {\boldsymbol{d}}_{t},{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\right\rangle -\dfrac{{\eta }^{2}{L}_{d}}{2}{\left|\left|{\boldsymbol{d}}_{t}\right|\right|}^{2}\overset{({\mathrm{a}})}{\geqslant }\\& L({{\bf\textit{θ}} }_{t})+\left(\dfrac{\eta }{2}-\dfrac{{\eta }^{2}{L}_{d}}{2}\right){\left|\left|{\boldsymbol{d}}_{t}\right|\right|}^{2}+\dfrac{\eta }{2}{\left|\left|{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\right|\right|}^{2}-\\& \dfrac{\eta }{2}{\left|\left|{\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\right|\right|}^{2}\overset{({\mathrm{b}})}{\geqslant }L({{\bf\textit{θ}} }_{t})+\dfrac{\eta }{4}{\left|\left|{\boldsymbol{d}}_{t}\right|\right|}^{2}+\dfrac{\eta }{2}{\left|\left|{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\right|\right|}^{2}-\\& \dfrac{\eta }{2}{\left|\left|{\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\right|\right|}^{2}.\end{split} $

由$ \left\langle {\boldsymbol{d}}_{t},{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\right\rangle =\dfrac{|{\boldsymbol{d}}_{t}{|}^{2}}{2}+\dfrac{|{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t}){|}^{2}}{2}-\dfrac{|{\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t}){|}^{2}}{2} $可得出不等式$ \left({\mathrm{a}}\right) $，在$ \left({\mathrm{b}}\right) $中设置$ {L}_{d}\eta \leqslant {1}/{2} $，对式（31）两边进行从$ t=0 $至$ t=T-1 $求和求期望，并进行移项可得

(32)$ \begin{split} &L({{\bf\textit{θ}} }_{T})-L({{\bf\textit{θ}} }_{0})\leqslant -\dfrac{\eta }{2}\displaystyle\sum\limits_{t=0}^{T-1}E{\left|\left|{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\right|\right|}^{2}-\\&\qquad \dfrac{\eta }{4}\displaystyle\sum\limits_{t=0}^{T-1}E{\left|\left|{\boldsymbol{d}}_{t}\right|\right|}^{2}+\dfrac{\eta }{2}\displaystyle\sum\limits_{t=0}^{T-1}E{\left|\left|{\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t})\right|\right|}^{2}.\end{split} $

对于任意$ {\bf\textit{θ}} \in {\bf{R}}^{d} $有 $ {L}^{*}\geqslant L({\bf\textit{θ}} ) $，有 $ L({{\bf\textit{θ}} }_{T})-L({{\bf\textit{θ}} }_{0})\geqslant -(L({{\bf\textit{θ}} }_{0})-L({{\bf\textit{θ}} }_{*}) $. 记 $ L({{\bf\textit{θ}} }_{0})-L({{\bf\textit{θ}} }_{*})=\varDelta $，有

(33)$ \begin{split} -\varDelta \leqslant & -\dfrac{\eta }{2}\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t}){\| }^{2}-\dfrac{\eta }{4}\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\boldsymbol{d}}_{t}{\| }^{2}+\\& \dfrac{\eta }{2}\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\boldsymbol{d}}_{t}-{\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t}){\| }^{2}\overset{({\mathrm{a}})}{\leqslant }\\& -\dfrac{\eta }{2}\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t}){\| }^{2}-\dfrac{\eta }{4}\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\boldsymbol{d}}_{t}{\| }^{2}+\\& \dfrac{C_{\gamma }^{2}{\eta }^{3}M}{\alpha BQ}\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\boldsymbol{d}}_{t}{\| }^{2}+\dfrac{\eta \alpha {\sigma }^{2}T}{Q}+\dfrac{\eta {\sigma }^{2}}{{S}_{1}\alpha }\overset{({\mathrm{b}})}{\leqslant }\\& -\dfrac{\eta }{2}\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t}){\| }^{2}+\dfrac{\eta \alpha {\sigma }^{2}T}{Q}+\dfrac{\eta {\sigma }^{2}}{{S}_{1}\alpha }.\end{split} $

移项整理得

(34)$ \dfrac{1}{T}\displaystyle\sum\limits_{t=0}^{T-1}{E}\| {\nabla }_{{\bf\textit{θ}} }L({{\bf\textit{θ}} }_{t}){\| }^{2}\leqslant \dfrac{2\varDelta }{\eta T}+\dfrac{2\alpha {\sigma }^{2}}{Q}+\dfrac{2{\sigma }^{2}}{T{S}_{1}\alpha }. $

$ \left({\mathrm{a}}\right) $式将定理1中的（22）式代入即可得到，对于$ \left({\mathrm{b}}\right) $式选择$ 4C_{\gamma }^{2}{\eta }^{2}M\leqslant \alpha BQ $.

推论1　在假设1~4成立的基础上，选择$ \eta =\dfrac{Q\epsilon \sqrt{B}}{2\sqrt{6}{C}_{\gamma }\sigma \sqrt{M}} $，$ \alpha =\dfrac{Q{\epsilon }^{2}}{6{\sigma }^{2}} $，$ {S}_{1}=\dfrac{6{\sigma }^{2}\sqrt{B}}{\sqrt{Q}{\epsilon }^{2}} $, 则达到$ \epsilon $-稳定解的样本复杂度为$ \mathcal{O}\left(\varDelta {C}_{\gamma }\cdot \dfrac{\sigma }{{\epsilon }^{3}}+\dfrac{{\sigma }^{2}}{{\epsilon }^{2}}\right) $.

从推论1可以看出，SVRRM-PG算法的样本复杂度以第一项$ \mathcal{O}\left(\Delta {C}_{\gamma }\cdot {\sigma }/{{\epsilon }^{3}}\right) $为主导，因此最终可以达到$ \mathcal{O}\left({\epsilon }^{-3}\right) $的样本复杂度. 同时在整个算法更新过程中， 始终使用固定的小批量$ B $采样轨迹，因此在小批量复杂度上，SVRRM-PG可以达到$ \mathcal{O}(1) $的小批量复杂度. 几种基于方差缩减技术策略梯度算法的采样复杂度对比如表1所示.

证明 由定理2的式（30）可得

(35)$ \dfrac{2\varDelta }{\eta T}\leqslant \dfrac{{\epsilon }^{2}}{3},\;\dfrac{2\alpha {\sigma }^{2}}{Q}\leqslant \dfrac{{\epsilon }^{2}}{3},\;\dfrac{2{\sigma }^{2}}{T{S}_{1}\alpha }\leqslant \dfrac{{\epsilon }^{2}}{3}. $

由式（35）以及前文的约束：$ 4C_{\gamma }^{2}{\eta }^{2}M\leqslant \alpha BQ $，可得$ \alpha =\dfrac{Q{\epsilon }^{2}}{6{\sigma }^{2}},\;\eta =\dfrac{\sqrt{B}Q\epsilon }{2\sqrt{6}{C}_{\gamma }\sigma \sqrt{M}} $. 综合所有约束有

$ T\geqslant \dfrac{6\sigma }{\eta {\epsilon }^{2}}=\dfrac{12\sqrt{6}{C}_{\gamma }\varDelta \sigma \sqrt{M}}{Q{\epsilon }^{3}\sqrt{B}},\;T\geqslant \dfrac{6{\sigma }^{2}}{{S}_{1}\alpha {\epsilon }^{2}}=\dfrac{36{\sigma }^{4}}{{S}_{1}Q{\epsilon }^{4}}. $

目标是最小化增量一阶计算复杂度（incremental first-order oracle，IFO）

(36)$ \left.\begin{array}{ll}{\min }_{{{S}_{1}}} & \text{IFO}={S}_{1}+TB\text{，} \\\text{s.t.} & T\geqslant \max \left(\dfrac{12\sqrt{6}{C}_{\gamma }\varDelta \sigma \sqrt{M}}{Q{\epsilon }^{3}\sqrt{B}}, \dfrac{36{\sigma }^{4}}{{S}_{1}Q{\epsilon }^{4}}\right). \end{array}\right\} $

将式（36）的解$S_1=\dfrac{6{\sigma }^{2}\sqrt{B}}{\sqrt{Q}{\epsilon }^{2}} $代入下式，可得达到$ \epsilon $-稳定解的IFO复杂度为

(37)$ \begin{split} \text{IFO} =&\dfrac{6{\sigma }^{2}\sqrt{B}}{\sqrt{Q}{\epsilon }^{2}} + \max \left(\dfrac{12\sqrt{6}{C}_{\gamma }\varDelta \sigma \sqrt{M}}{Q{\epsilon }^{3}\sqrt{B}},\dfrac{6{\sigma }^{2}\sqrt{B}}{\sqrt{Q}{\epsilon }^{2}}\right) \leqslant \\& \dfrac{6{\sigma }^{2}\sqrt{B}}{\sqrt{Q}{\epsilon }^{2}}+\dfrac{12\sqrt{6}{C}_{\gamma }\varDelta \sigma \sqrt{M}}{Q{\epsilon }^{3}\sqrt{B}}=\\& \dfrac{12{\sigma }^{2}\sqrt{\dfrac{B}{Q}}}{{\epsilon }^{2}}+12\sqrt{6}{C}_{\gamma }\varDelta \cdot \dfrac{\sigma \sqrt{\dfrac{MB}{{Q}^{2}}}}{{\epsilon }^{3}}.\end{split} $

即在定理2中$ {\alpha }/{Q} $可通过令$ \alpha $与$ {Q}/{{S}_{1}} $成比例. 因此，第3项的量级为$ \mathcal{O}\left(\dfrac{1}{TQ}\right) $，第2项的量级为$ \mathcal{O}\left(\dfrac{1}{{S}_{1}}\right) $；若选择$ {S}_{1}\alpha =Q $且$ \eta $的量级为$ \mathcal{O}(1) $，则经过$ T $次迭代后，算法将达到期望梯度范数量级$ \mathcal{O}\left(\dfrac{1}{T}+ \right. \left. \dfrac{{\sigma }^{2}}{{S}_{1}}+\dfrac{{\sigma }^{2}}{TQ}\right) $.

方差缩减算法设计初衷是为降低同时期使用的RL方法中普遍存在的方差过大问题. 因此，提出的方差缩减估计器需要与主流RL算法相结合，以确保其实际应用价值.基于此，选择在蒙特卡洛形式的PPO算法中引入SVRRM-PG估计器，记为SVR-PPO，并与Adam优化器相结合，以提高其实用性和适应性. 具体地， 在轨迹收集部分，轨迹由策略网络采集并存储到经验池中，所有使用的轨迹数据直接从经验池中抽取，无须重新采样. 在数据学习部分，根据经验池$ \boldsymbol{D} $可计算SVR-PPO的优势函数$ {A}_{t} $、策略目标函数$ L({\bf\textit{θ}}_{t}) $和价值损失函数$ J({\boldsymbol{\phi }}_{t}) $

(38)$ {A}_{t}={\hat{R}}_{t}-{V}_{\boldsymbol{\phi }}({s}_{t}), $

(39)$ \begin{split} L({\bf\textit{θ}}_{t})= & \dfrac{1}{WT}\displaystyle\sum\limits_{{\bf\textit{τ}}\in \boldsymbol{D}}\displaystyle\sum\limits_{t=0}^{T}\min \Bigg[\dfrac{{\pi }_{\bf\textit{θ}}({a}_{t}|{s}_{t})}{{\pi }_{{{\bf\textit{θ}}_{\text{old}}}}({a}_{t}|{s}_{t})}{A}_{t},\\& \text{clip}\left(\dfrac{{\pi }_{\bf\textit{θ}}({a}_{t}|{s}_{t})}{{\pi }_{{{\bf\textit{θ}}_{\text{old}}}}({a}_{t}|{s}_{t})},1-\mu ,1+\mu \right){A}_{t}\Bigg],\end{split} $

(40)$ J({\boldsymbol{\phi }}_{t})=\dfrac{1}{WT}\displaystyle\sum\limits_{{\bf\textit{τ}}\in \boldsymbol{D}}\displaystyle\sum\limits_{t=0}^{T}{\left({V}_{\boldsymbol{\phi }}({s}_{t})-{R}_{t}\right)}^{2}. $

式中：$ {\hat{R}}_{t} $、$ {V}_{\boldsymbol{\phi }} $、$ W $、$ {\bf\textit{θ}}_{\text{old}} $分别为奖励函数（rewards-to-go）、当前价值函数、经验池$ \boldsymbol{D} $大小及更新前的策略参数；$ \mu $为超参数，用来说明新策略与旧策略之间的差距. 因为要使用Adam优化器， 所以在此定义一阶矩$ {\boldsymbol{m}}_{t} $和二阶矩$ {\boldsymbol{u}}_{t} $分别为梯度值均值和方差：

(41)$ \begin{aligned}{\boldsymbol{m}}_{t}&={\beta }_{1}{\boldsymbol{m}}_{t-1}+(1-{\beta }_{1}){\boldsymbol{d}}_{t}\text{，}\\{\boldsymbol{u}}_{t}&={\beta }_{2}{\boldsymbol{u}}_{t-1}+(1-{\beta }_{2})\boldsymbol{d}_{t}^{2}\text{，}\\{\hat{{\boldsymbol{u}}} }_{t}&=\max \;({\hat{{\boldsymbol{u}}} }_{t-1},{\boldsymbol{u}}_{t}).\end{aligned} $

在原始PPO算法中，计算出策略目标函数$ L({\bf\textit{θ}}_{t}) $后, 通过反向传播直接计算策略目标函数梯度，再更新策略参数$ {\bf\textit{θ}} $. 但是在SVR-PPO中，需要多次计算策略目标函数$ L({\bf\textit{θ}}_{t}) $和其梯度值，用于计算式（12）中的$ {\boldsymbol{v}}_{t} $、$ {\boldsymbol{d}}_{t} $，进而更新策略参数. 具体地，通过在经验池$ \boldsymbol{D} $中采样$ {{B}} $条小批量轨迹和$ {{Q}} $条大批量轨迹，由$ L{({{\bf\textit{θ}}_{t}})}^{{{B}}} $计算出梯度估计值$ \dfrac{1}{{{B}}}\displaystyle\sum\limits_{i=1}^{{{B}}}g({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t}) $；而$ L{(\tilde{{\bf\textit{θ}} }\text{})}^{{{B}}} $、$ L{({{\bf\textit{θ}}_{t-1}})}^{{{B}}} $和$ L{(\tilde{{\bf\textit{θ}} }\text{})}^{{{Q}}} $在计算出梯度估计值后，需要再结合重要性采样权重才可得到$ \dfrac{1}{{{B}}}\displaystyle\sum\limits_{i=1}^{{{B}}}{g}^{{{\omega }_{{{\bf\textit{θ}}_{t}}}}}({{\bf\textit{τ}}}_{i}|\tilde{{\bf\textit{θ}} }\text{}) $、$ \dfrac{1}{{{B}}}\displaystyle\sum\limits_{i=1}^{{{B}}} {g}^{{{\omega }_{{{\bf\textit{θ}}_{t}}}}}({{\bf\textit{τ}}}_{i}|{\bf\textit{θ}}_{t-1}) $和$ \dfrac{1}{{{Q}}}\displaystyle\sum\limits_{i=1}^{{{Q}}}{g}^{{{\omega }_{{{\bf\textit{θ}}_{t}}}}}({{\bf\textit{τ}}}_{i}|\tilde{{\bf\textit{θ}} }\text{}) $，后即可计算出$ {\boldsymbol{v}}_{t} $、$ {\boldsymbol{d}}_{t} $. 最后在$ {\boldsymbol{d}}_{t} $上使用Adam优化器更新策略参数$ {\bf\textit{θ}} $. SVR-PPO在保持PPO的核心思想（裁剪目标函数限制更新幅度）上，通过引入历史梯度和动量，减少梯度估计的随机性. SVR-PPO的详细实现步骤见算法3.

算法3　SVR-PPO算法

输入：迭代次数$ Y $，经验池$ \boldsymbol{D} $，经验池大小$ W $，大批量$ {{Q}} $， 小批量$ {{B}} $，更新周期$ E $，判断概率$ {p}_{0} $，参考点$ \tilde{{\boldsymbol{\theta}} }\text{} $；

输出：策略网络参数$ {\bf\textit{θ}} $，价值网络参数$ \boldsymbol{\phi } $；

for $ y $到$ Y-\text{1} $

1.　收集经验池$ {\boldsymbol{D}}_{y} $

2.　for $ k:=1 $到 $ W $ do

3.　　 智能体根据策略与环境交互，产生轨迹将数据 　　　$ {{\bf\textit{τ}}}_{k} $存入经验池$ {\boldsymbol{D}}_{y} $

4.　end for

5.　$ {\bf\textit{θ}}:=\tilde{{\boldsymbol{\theta}} }\text{} $

6.　数据学习部分

7.　for $ t:=1 $ 到 $ \text{E} $ do

8.　　 if $ t=1 $ then

9.　　　 从经验池中随机采样小批量$ {B} $条轨迹，使用式　　　　(38)、(39)计算$ L{({{\bf\textit{θ}}_{1}})}^{{B}} $，令$ {\boldsymbol{d}}_{1} $直接等于$ L{({{\bf\textit{θ}}_{1}})}^{{B}} $　　　　计算出的目标函数梯度，并更新一次策略参数

10.　　else

11.　　 从经验池中随机采样小批量$ {B} $条轨迹，由式　　　　　（38）、（39）计算$ L{({{\bf\textit{θ}}_{t}})}^{{B}} $、$ L{(\tilde{\theta }\text{})}^{{B}} $、$ L{({{\bf\textit{θ}}_{t-1}})}^{{B}} $

12.　　 从经验池中随机采样大批量$ {{Q}} $条轨迹，由式　　　　　（38）、（39）计算$ L{(\tilde{{\bf\textit{θ}} }\text{})}^{{{Q}}} $

13. 　　由$ L{({{\bf\textit{θ}}_{t}})}^{{B}} $、$ L{({{\tilde{{\bf\textit{θ}} }\text{}}_{t}})}^{{B}} $、$ L{({{\bf\textit{θ}}_{t-1}})}^{{B}} $、$ L{({{\tilde{{\bf\textit{θ}} }\text{}}_{t}})}^{{Q}} $估计目标函　　　 数梯度，进而由式（12）计算$ {\boldsymbol{v}}_{t} $、$ {\boldsymbol{d}}_{t} $

14. 　　使用Adam优化器，由式（41）计算$ {\boldsymbol{m}}_{t} $、$ {\boldsymbol{u}}_{t} $并更新 　　　策略参数

15.　　 由经验池$ {\boldsymbol{D}}_{y} $，使用式（40）计算最小化价值损失　　　 函数$ J({\boldsymbol{\phi }}_{t}) $

16. 　　使用Adam优化器更新价值网络参数$ \boldsymbol{\phi } $

17. 　　根据判断概率$ {p}_{0} $判断是否更新参考点$ \tilde{{\bf\textit{θ}} }\text{} $

18.　　end if

19.　end for

end for

选择OpenAI Gym中2个经典的控制任务（Cartpole、Acrobot）和 Mujoco中2个多关节机器人任务（Hopper、Walker）作为基准测试；选择基线算法GPOMDP和STORM-PG，以及近期优秀算法PAGE-PG和SHARP作为对比算法.

实验平台采用Intel I9 13900K处理器和Nvidia RTX 3090 GPU，使用PyTorch作为开发环境. 所有实验均在5个不同随机种子下重复5次，计算平均回报和95%置信区间.

Acrobot是由2个关节与2根连杆组成的机器人系统，其中中间关节为驱动关节. 初始状态下连杆垂直向下悬挂，目标是通过摆动使末端到达指定高度；当未达到目标高度时，每一步获得的奖励为−1. 状态空间为6维连续空间，动作空间为三维离散空间（对应正扭矩、负扭矩和不施加操作）. 回合在末端到达目标高度或运行500个时间步后结束.

Cartpole由在一维轨道上移动的小车和铰链连接的摆杆组成. 状态空间为4维连续空间，动作空间为二维离散空间. 初始时摆杆垂直向上，当摆杆保持在垂直方向±12°范围内时可获得+1奖励；当摆杆偏离超过12°、小车位置超出范围或运行满500步时, 回合终止.

Hopper是单腿跳跃任务，机器人由躯干、大腿、小腿和脚组成. 奖励函数包含保持身体平衡、向前移动和动作幅度惩罚3部分. 状态空间为11维连续向量（包含关节位置、速度和身体质心位置等）， 动作空间为三维连续空间. 当身体高度低于阈值、姿态角度超限或运行满1000步时，回合终止.

Walker是二维双足机器人行走任务，每条腿含3个关节，对协调性和稳定性要求较高，是强化学习中难度较大的连续控制任务. 其奖励函数和终止条件与Hopper相同，但状态空间扩展为17维，动作空间为6维连续空间，各任务详细信息如表2所示.

PAGE-PG、STORM-PG、SHARP以及SVRRM-PG算法的实现都是在GPOMDP基础上添加不同的梯度估计器，梯度估计器的作用只在于缩减方差，并且让实验参数尽可能地保持相同，如表3所示. 其中，$ \gamma $为折扣率，$ \eta $为学习率，$ \alpha $为动量参数，$ p_{t} $为切换概率，$ {p}_{0} $为参考点更新概率，$ S_{1} $为初始采样批量，$ B $为小批量采样大小，$ Q $为大批量采样大小. 在这种设置下，算法最终呈现的性能差异可以看作是不同梯度估计器方差缩减的效果对比.

Acrobot和Cartpole任务实验结果如图1所示，图中，$ {n}_{1} $为采样回合数，$ R $为平均回报. 在图1（a）中，GPOMDP收敛最慢，而提出的SVRRM-PG算法收敛最快，约1000回合达到最高回报且无明显振荡，SHARP收敛速度次之. 图1（b）显示，在Cartpole任务中SVRRM-PG仍保持最快收敛，2 000轮即可稳定，而SHARP在12500轮左右出现振荡. STORM-PG后期稳定性较好但前期收敛较慢. 由于这2个任务较简单，所有方法都能收敛，方差缩减效果不明显.

连续动作空间任务Hopper和Walker实验结果如图2所示. 考虑到轨迹长度可能因为触发终止条件而长短不一，因此$ {n}_{2} $记为交互次数. 图2（a）显示, 在Hopper任务中SVRRM-PG保持最快收敛（约20%训练周期），但后期局部回报略低于STORM-PG；SHARP和STORM-PG前期收敛速度相当，后期SHARP因使用海森矩阵表现略优；PAGE-PG因概率切换导致收敛较慢，最终R≈1000；GPOMDP因没有使用方差缩减技术，最终回报仅为900.

图2（b）显示，由于Walker动作空间增至6维, 任务难度较高，SVRRM-PG的R在约40%训练周期以后，稳定在320；SHARP和STORM-PG表现相近；PAGE-PG前期提升较慢，但也可达到相近回报值；GPOMDP表现最差，R仅为260.

所有算法在不同基准环境下的方差数据如表4所示. 数据分为0~30%和30%~100%两个阶段，0~30%用于评判策略探索期的方差效果，方差越小前期的收敛速度越快；30%~100%用于评判策略稳定期的方差效果. 当探索接近最优策略时，算法趋于稳定，此时方差值越小. 在4种不同的任务环境下，SVRRM-PG算法的方差都是最小的，与实验曲线图相吻合. 在离散任务中，由于任务比较简单，各种算法的方差值都比较小，在训练后期SVRRMPG算法的方差已降到163.94和53.90. 但是在连续任务中，所有算法均表现不佳. Hopper任务由于奖励范围比较大，数据容易产生波动；GPOMDP在0~30%阶段方差达到73250.86；SVRRMPG算法将方差降低47.96%；Walker任务难度较大，算法无法探索出最优策略，因此数据波动较小，方差也较小，从侧面说明任务奖励才是关注的核心指标.

为分析批量大小影响，在Cartpole任务中进行9组对照实验. 实验前期（0~3 000轨迹）用于评估收敛速率，后期（3 000~10 000轨迹）用于评估收敛稳定性，所有对照组的实验数据如表5所示. 其中，$ Q $为大批量采样轨迹数量，$ B $为小批量采样轨迹数. 结果表明，在$ Q=100 $、$ B=5 $时综合表现最佳：前期R最高为157.91；后期R=193.57，接近最优值（193.71）. 当$ Q=100 $、$ B=5 $时收敛最快且振荡最小，如图3所示，因此后续实验选择此轨迹批次组合.

对上述4个任务不同算法下的运行时间进行测试，规则为每个实验独立运行5次，记录其平均值，具体数据如表6所示. 表中，t为运行时间. 从表6可知，SVRRM-PG运行效率低，但是性能却表现较好. 推测原因可能有以下2点：1）虽然不需要采集大批量轨迹，但是存储轨迹的经验池一直更新；2）计算大批量梯度估计需要花费时间. 因此，综合运行效率相对较低.

为验证SVRRM-PG的泛用性，将其集成到PPO框架中，提出SVR-PPO算法，该算法在Walker任务上的对比情况如图4所示. SVR-PPO在实现上更注重实际性能优化而非保持理论估计器的最简结构，因而采用GAE目标函数和Adam优化器，相比理论部分基于蒙特卡洛估计的目标函数表现更好. GAE结合Actor-Critic框架与时间差分方法，进一步降低方差；Adam优化器则自适应调节学习率，提升训练效率. 实验结果显示，SVR-PPO在训练约10%阶段即开始快速收敛，最终平均回报达到500，较PPO提升约15%，但其误差带较大，可通过适当增加训练周期或引入约束条件来改善. PPO和SVR-PPO的相关参数设置为$r=0.99, y=2 \times 10^5, P_0=0.3 $.

提出基于随机方差缩减的递归动量策略梯度算法（SVRRM-PG）, 以缩减方差的形式提高收敛速率以及稳定性，且不需要使用大批量采样. 为提高算法通用性, 将SVRRM-PG估计器与PPO算法结合，提出SVR-PPO算法. 结果表明，SVRRM-PG算法已经达到最优样本复杂度$ \mathcal{O}{(\epsilon )}^{-3} $. 在离散任务中，SVRRM-PG算法收敛速度提升了5%并具有较高的稳定性，在连续任务中收敛速度提升了10%，但是并没有提升稳定性，仍然具有较明显的数据波动. SVR-PPO算法较原始PPO算法提升大约15%，但同样表现出不稳定性. 算法在运行效率上仍存在一些缺陷，后续将继续优化大批量梯度计算方式，进一步提升计算效率.