设计有效的交通信号控制方法来提高路网智能化服务水平，是提升路网通行效率、缓解交通拥堵的关键技术之一^[1-2]. 不同于传统交通信号控制方法，基于强化学习的交通信号控制方法无需先验知识和对真实交通环境进行简化假设^[3]，它通过与环境的交互来学习和搜索最佳交通信号控制策略. 由于具有适应性强、灵活性高的特点，基于深度强化学习的交通信号控制方法已成为交通信号控制领域的研究热点^[4-6].

Wang等^[7]提出基于优势参与者-批评者（advantage actor-critic）算法的交通信号控制方法. 为了有效利用周边智能体的空间信息，Wang等^[7]设计了基于图注意力网络的区域感知合作策略. 由于使用分散式控制，容易导致用于模型训练的环境状态不完整. Wang等^[8]提出基于多智能体强化学习的交通信号控制方法. 为了能够更好地从相邻交叉口的历史数据中学习经验，Wang等^[8]提出新的经验共享策略. Ma等^[9]提出基于强化学习Actor-Critic模型的交通信号配时方法. 该方法在一定程度上避免了单纯基于值或策略的强化学习方法的缺陷，提高了交叉口的通行效率. Bouktif等^[10]提出基于混合深度强化学习的交通信号控制方法，设计分层决策深度强化学习网络，优化下一个阶段待执行的相位及绿灯持续时间. Chu等^[11]提出基于可扩展分散多智能体强化学习的交通信号控制方法. 虽然该方法通过提高环境的可观察性来稳定学习过程，但对所采样的经验信息的利用不够充分. 刘智敏等^[12]提出基于改进深度强化学习的交通信号控制方法. 利用相邻时间步交叉口车辆数变化量构建新的奖励函数，能够及时跟踪和准确描述车道上交通状态的动态变化过程.

上述方法一般直接定义车辆速度和位置矩阵作为深度强化学习模型的输入，不仅因为涉及的参数多，增加了模型计算量，也忽略了速度矩阵和位置矩阵之间存在的冗余信息. 为了解决上述问题，本文提出基于车辆权重的A3C强化学习交通信号控制方法. 通过设计权重神经网络，对采集的交通状态进行预处理，提升强化学习模型的学习和决策能力. 在强化学习模型的输入端分别从交叉口和车道2个不同维度构建车辆权重增益网络，对车辆运动状态信息进行处理，网络输出的车辆权重系数可以更有效地反映不同运动状态下车辆的通行优先级. 以定时控制、模糊自适应控制及基于DQN和A3C的交通信号控制方法作为对照，在低、中、高3种不同交通流量模式下进行仿真测试，实验结果验证了本文所提方法的有效性.

如图1所示，以典型十字交叉口为例进行具体描述. 该交叉口有4个进车方向，且每个进车方向上有3条车道，分别为1条直行右转车道、1条直行车道、1条左转车道. 为了便于描述，在交通信号控制框架下，分别定义强化学习的3个要素：状态、动作和奖励.

Wu等^[13-14]的研究表明，简化状态空间可以提高智能体的训练性能，因此应该构建尽可能简单的状态空间. 考虑实际应用的需求，输入的状态要素应该能够直观并容易获取. 进口道延误、进口道车辆排队时间及车辆平均停车次数等复杂计算或者估计的要素不适合作为输入状态.

在所构建的权重网络中，需要基于各个车道上的车辆数量和各个车道排队等待通行的车辆数量确定车辆的权重关系. 考虑到如图1所示的交叉口共有12条进口车道，可以将采集的该交叉口输入交通状态定义为矩阵M_2×12. 从北进口方向的直行和右转共用车道开始，按顺时针方向依次采集各条车道的交通状态信息. 矩阵第1行中的各元素分别表示各条车道上的车辆总数，第2行中的各元素分别表示各条车道上排队等待通行的车辆数.

将智能体的动作空间定义为4个相位^[15]，每个控制步智能体只能执行并选择图2所示的4个相位中的一个. 4个相位分别为东西直行、东西左转、南北直行、南北左转. 在每个控制步结束时，智能体可以选择保持当前相位或按智能体的决策执行下一个相位，如图3所示.

在基于深度强化学习的交通信号控制方法中，设计奖励函数的根本原则是驱动智能交通信号控制器在每一个控制步能够尽可能快速地搜索到最优交通信号控制策略^[16-18]. 在设计奖励函数时，主要基于以下2个方面的考虑. 1）应尽量减少车辆在交叉口的等待时间，确保所选动作能够减少车辆通过交叉口的平均等待时间，提高交叉口的通行效率. 2）应合理分配绿灯时间给不同的车道或方向，以确保更多的车辆在各个绿灯放行相位内一次性通过，增加单位时间内通过交叉口的总车辆数.

综合考虑通过交叉口的车辆数和车辆等待时间这2个交通效益评价指标来设计奖励函数，能够更全面地评估当前输出动作决策的有效性. 根据多个指标来综合评定动作决策的优劣，可以激励强化学习算法进行多目标优化，使其在不同的交通状态下均能有良好的表现. 为了提高深度强化学习算法的决策能力，设计新的奖励函数，即采用当前采样时间步交叉口总的车辆等待时间的变化率和通过交叉口的车辆数的变化率来定义强化学习的奖励函数. 计算车辆等待时间的变化率${W_{\mathrm{{change\_rate}}}} $和通过交叉口的车辆数的变化率${P_{\mathrm{{change\_rate}}}} $如下所示.

式中: w_t为在第t个采样时间步交叉口各条车道上车辆的等待时间之和，w_t−1为第t−1个采样时间步交叉口各条车道上车辆的等待时间之和.

式中: p_t为在第t个采样时间步通过交叉口各车道的车辆数之和，p_t−1为第t−1个采样时间步通过交叉路口各车道的车辆数之和.

在复杂系统中，连续的输入空间可能会导致控制策略过于复杂，难以优化和实施. 对得到的变化率进行处理，根据W_{change_rate}和P_{change_rate}确定等待时间的奖励值R_w和通过车辆数的奖励值R_p. 具体的分段计算规则如表1所示.

综上所述，设计的目标奖励函数定义如下：

式中：λ₁和λ₂分别为奖励R_w和R_p对应的权重系数. 设计上述奖励函数的目的是使深度强化学习智能体能够更好地响应车流的动态变化过程，使用变化率作为奖励来提高模型对突发事件的敏感度及强化学习算法的稳定性.

对采样的交通状态信息进行处理和分析，提前获取一部分有代表性的交通特征信息，可以提高深度神经网络在挖掘深层次特征信息时的学习能力.

如图4所示，利用车辆权重增益网络对采集的交叉口车辆运动状态信息矩阵$ {{\boldsymbol{M}}}_{2\times 12} $进行处理，利用深度神经网络输出的车辆权重和$ {{\boldsymbol{M}}}_{2\times 12} $获得新的交通状态信息. 将更新的交通状态信息输入深度强化学习模型A2C中的Actor网络和Critic网络，根据强化学习模型反馈的奖励动态更新车辆权重增益网络的超参数.

从交叉口和车道2个不同维度上对车辆运动状态进行分析，构建交叉口级车辆权重增益网络（intersection vehicle weight gain network，IVWGN）和车道级车辆权重增益(lane vehicle weight gain network，LVWGN），对采集的车辆运动状态信息进行处理.

如图5所示，本文所提交叉口级车辆权重增益网络示意图中，全连接层的输入是交叉口各进口方向上各条车道上的车辆总数和各条车道上排队等待通行的车辆数. 图1所示的交叉口共有4个进口方向、12条车道，所以输入的状态是2×12的矩阵$ {{\boldsymbol{M}}}_{2\times 12} $. 矩阵中的第1行元素表示各条车道上的车辆总数，第2行元素表示各条车道上排队等待通行的车辆数.

在交叉口级车辆权重增益网络中，所有排队等待通行车辆的权重增益相同，因此输出权重矩阵的维度为1×1. 在得到增益权重后，利用下式计算各条车道上加权增益后的车辆数：

式中：$ {N}_{i}^{{\mathrm{I}}} $为经过交叉口级车辆权重增益网络处理后交叉口第i条车道上的车辆数，D_i为采样得到的第i个车道上的车辆数，p为交叉口级车辆增益网络计算出的排队等待放行车辆增益权重，P_i为采样得到的第i个车道上的等待放行车辆数.

如图6所示，车道级车辆权重增益网络的输入与交叉口级车辆权重增益网络的输入相同，但在不同车道上的权重增益不同. 以图1所示包含有12条车道的交叉口为研究对象，输出矩阵的维度为12×1. 每个权重表示对应车道上排队等待通行车辆的增益. 在得到增益权重后，利用下式可计算得到各条车道上加权增益后的车辆数：

式中：$ {N}_{i}^{\mathrm{L}} $为经过车道级车辆权重增益网络处理后交叉口第i条车道上的车辆数，q_i为车道级车辆增益网络计算得到的第i条车道上排队等待通行车辆的权重.

由于基于Actor-Critic的强化学习方法在实际应用中收敛效果不佳^[19-20]，将不依赖于动作A的任意函数作为动作价值函数的基线，可以提高算法的收敛速度. 对策略梯度进行蒙特卡洛方法近似，可以得到策略梯度的无偏估计，如下所示：

式中：g$ (s,a;{\boldsymbol{\theta}} ) $为随机梯度，$ {Q}_{\pi }(s,a) $为动作价值函数，$ {V}_{\pi }\left(s\right) $为状态价值函数，$ {\nabla } _{{\boldsymbol{\theta}} }{\mathrm{l}\mathrm{n}}\; {\pi }\left(a\left|s;{\boldsymbol{\theta}} \right.\right) $为策略梯度的无偏估计. 当训练价值网络时，需要用到贝尔曼方程，如下所示：

式中: $ {V}_{\pi }\left({s}_{t}\right) $和R_t分别为t时刻的状态价值和奖励，$ \gamma $为折扣因子，$ {V}_{\pi }\left({s}_{t+1}\right) $为t+1时刻的状态价值. 其中$ {V}_{\pi }\left({s}_{t}\right) $在t时刻近似成$ v({s}_{t};{\boldsymbol{\omega}} ) $. 智能体执行动作$ {a}_{t} $，环境会给出奖励$ {r}_{t} $和新的状态$ {s}_{t+1} $，用观测到的奖励和新的状态对期望进行蒙特卡洛近似，得到

式中：$ {y}_{t}^{{\mathrm{g}}} $为t+1时刻对$ {V}_{\pi }\left({s}_{t}\right) $的估计. 根据式（8）~（10），定义价值网络的损失函数为

式中：$ {\delta }_{t}={v}_{t}^{{\mathrm{g}}}-{y}_{t}^{{\mathrm{g}}} $，$ {\nabla }_{{\boldsymbol{\omega}}}L\left({\boldsymbol{\omega}} \right) $为损失函数的梯度，$ {\boldsymbol{\omega}} $为价值网络的参数，$ \alpha $为价值网络的学习率.

当训练策略网络时，对式(8)作近似，如下所示：

智能体执行动作a_t，环境会给出奖励r_t和新的状态s_t+1，用观测到的奖励和新的状态对期望进行蒙特卡洛近似，得到

式中：$ \tilde {\boldsymbol{g}}({s}_{t};{a}_{t};{\boldsymbol{\theta}} ) $为$ {\boldsymbol{g}}({s}_{t};{a}_{t};{\boldsymbol{\theta}} ) $的近似. 用$ \tilde {\boldsymbol{g}}({s}_{t};{a}_{t};{\boldsymbol{\theta}} ) $更新策略网络参数，可以得到

式中：θ为策略网络的参数，β为策略网络的学习率.

权重增益网络是基于A3C强化学习智能体的奖励来动态更新网络参数，更具体地说，车辆权重增益网络的参数是朝着使智能体产生正收益的方向进行动态更新.

在训练过程中，车辆权重的真实值无法直接得到，采用自举法对估计的车辆权重真实值进行更新计算. 在t时刻，环境状态为s_t，智能体执行动作a_t后，环境状态更新为s_t+1，智能体获得奖励r_t . 假设t时刻车辆权重的估计值记为g($ {\boldsymbol{\psi}} $; s_t+1)，在t−1时刻和t时刻车辆权重的观测值分别记为g($ {\boldsymbol{\psi}} $; s_t−1)和g($ {\boldsymbol{\psi}} $; s_t)，且智能体从t−1时刻更新到t时刻时获得奖励r_t−1，则t时刻车辆权重的估计值可以更新为

式中：当r_t−1 > 0时，r_t−1/|r_t−1|为正，表示车辆权重g($ {\boldsymbol{\psi}} $; s_t−1)变化成g($ {\boldsymbol{\psi}} $; s_t)后奖励增大，即车辆权重朝着使智能体获得正收益的方向变化，则下一步继续沿着该方向更新权重. 反之，当r_t−1 < 0时，r_t−1/|r_t−1|为负，表示车辆权重g($ {\boldsymbol{\psi}} $; s_t−1)变化成g($ {\boldsymbol{\psi}} $; s_t)后奖励减少，即车辆权重朝着使智能体获得负收益的方向变化，则下一步逆着该方向更新权重. g(${\boldsymbol{ \psi}} $; s_t+1)和$ \widehat{y} $_t都是对车辆权重的估计，由于$ \widehat{y} $_t中部分是基于观测值得到的，$ \widehat{y} $_t比g($ {\boldsymbol{\psi}} $; s_t+1)更接近真实权重，所以可以固定$ \widehat{y} $_t后再更新权重网络参数${\boldsymbol{ \psi}} $. 更新网络参数$ {\boldsymbol{\psi}} $的具体方法如下. 定义损失函数：

式中：L($ {\boldsymbol{\psi}} $)为定义的损失函数，$ {\nabla }_{{\boldsymbol{\psi}} } $L(${\boldsymbol{\psi}} $)为损失函数的梯度.

式中：${\boldsymbol{ \psi }}$为权重增益网络的参数，ρ为权重神经网络的学习率. 通过梯度下降，获得新的网络参数$ {\boldsymbol{\psi}} $.

强化学习算法通常面临的共性问题是训练速度较慢^[21]. 为了应对该问题，并行化训练被引入异步优势演员-评论家算法中. 该算法包括一个服务器和多个worker节点，通过并行化操作来提高训练速度.

在异步优势演员-评论家算法中，服务器维护策略网络和价值网络的最新参数，使用worker节点传来的梯度进行参数更新. 每个worker节点拥有独立的环境，通过本地策略网络控制智能体与环境进行交互，计算得到状态、动作和奖励对应的梯度，将梯度发送到服务器.

通过并行化训练流程，利用A3C算法能够同时训练多个子模型，大幅度减少训练时间，不受其他线程的干扰. 公共部分的网络模型是要学习的模型，线程中的网络模型主要用于与环境进行交互.

采样状态输入强化学习模型前需要进行预处理，对排队等待通行车辆权重进行动态增益. 算法1具体描述了融合车辆权重增益网络的A3C强化学习算法的具体执行步骤，图7展示了基于融合车辆权重增益网络的强化学习A3C的交通信号控制框架.

为了验证所提方法的有效性，以如图1所示的交叉口为例开展仿真测试. 使用具备开源、微观和多模态特性的仿真软件SUMO作为测试平台，利用SUMO的Traci接口获取车辆实时交通状态信息.

将所提的基于融合车辆权重增益网络的A3C强化学习算法与DQN强化学习算法和基准A3C强化学习算法进行对比，具体参数如表2所示.

为了测试交通信号控制在不同交通流量下的效果，设置低、中、高3种不同的车流量. 分别对应低流量（600辆/h）、中流量（1 000辆/h）和高流量（1 400辆/h），从4个不同进口方向随机生成车辆. 具体的参数设置如表3所示.

为了展示基于深度强化学习的交通信号控制方法相较于传统交通信号控制方法的优越性，选取传统的定时控制方法和模糊自适应方法作为对照组，开展仿真测试. 在定时控制下，交叉口各个相位的配时时间和顺序在不同的交通情况下保持不变. 模糊自适应方法依靠采集到的交通数据信息来调整模糊逻辑系统的参数，实时动态更新各个相位的绿灯时间，不改变相位的执行顺序. 为了分析和比较不同的交通信号控制方法在不同的交通流量条件下的控制效果，选择回合累积奖励、车辆平均等待时间、车辆平均排队长度和车辆平均停车次数4个评价指标，对各种交通信号控制方法进行评价，如图8~11所示. 图中，n为智能体的训练回合步数，R为智能体的累计回合奖励，W为车辆的平均等待时间，L为车辆的平均排队长度，P为车辆的平均停车次数. 在每个回合内，累积奖励越大，车辆平均等待时间越短，车辆平均排队长度和车辆停车次数越少，表示利用该方法确定交通信号配时方案的效果越好.

从图8（a）~（c）的结果可以看出，在基于深度强化学习的4种交通信号控制方法中，不同流量下各个强化学习模型都能收敛. 与深度强化学习模型DQN和基准A3C深度强化学习模型相比，融合了车辆权重增益网络的A3C深度强化学习模型LVWG-A3C和IVWG-A3C具有更好的模型收敛性能和更大的累计奖励. 与车道级车辆权重增益网络LVWG-A3C模型相比，交叉口级车辆权重增益网络的IVWG-A3C模型的收敛效果进一步增强. 上述实验结果表明，车辆权重增益网络可以显著改善深度强化学习A3C模型的收敛性能，采用交叉口级的车辆权重增益网络的效果更好.

与传统的交通信号控制方法相比，从图9~11所示的测试结果可知，定时控制和模糊自适应控制在低、中、高3种流量下的整体表现比较平稳，随着交通流量的增加，车辆平均等待时间、平均排队长度和平均停车次数均不断增大. 在各种流量条件下，模糊自适应控制算法在车辆平均等待时间、车辆平均排队长度和平均停车次数这3个指标上都优于定时控制. 在低流量交通状态下，模糊自适应在平均等待时间、平均排队长度和平均停车次数等指标上优于深度强化学习算法DQN，但弱于其他几种深度强化学习方法. 在中流量和高流量交通状态下，传统的定时控制方法和模糊自适应控制方法明显弱于所有参与对比的深度强化学习方法. 这表明随着车流量的不断增加，相比于传统控制方法，深度强化学习方法具有更好的控制效果.

如图8~11所示，在低、中、高3种流量条件下，无论是交叉口级车辆权重增益A3C算法还是车道级车辆权重增益A3C算法，在回合累计奖励、车辆平均等待时间、车辆平均排队长度和平均停车次数这4个交通指标方面都明显优于基准的DQN和A3C强化学习控制算法.

如表4所示为不同交通信号控制方法的测试结果. 当采用LVWG-A3C算法时，与传统的DQN算法相比，在低、中、高流量下车辆的平均等待时间分别减少了16%、17%和14%，平均排队长度分别减少了7%、8%和7%，平均停车次数分别减少了8%、16%和11%. 与传统的DQN算法相比，采用IVWG-A3C算法得到的结果在低、中、高流量下的平均等待时间分别减少了23%、33%和37%，平均排队长度分别减少了13%、22%和24%，车辆平均停车次数减少了15%、21%和20%.

当采用LVWG-A3C算法时，与传统的A3C算法相比，在低、中、高流量下车辆的平均等待时间分别减少了14%、11%和3%，平均排队长度分别减少了4%、5%和2%，车辆的平均停车次数减少了6%、6%和7%. 当采用IVWG-A3C算法时，与传统的A3C算法相比，在低、中、高流量下车辆的平均等待时间分别减少了19%、28%和15%，平均排队长度分别减少了7%、12%和8%，车辆平均停车次数分别减少了13%、12%和16%.

实验结果表明，与传统基于DQN和A3C强化学习的交通信号控制方法相比，基于融合车辆权重网络A3C强化学习的交通信号控制方法展现了更好的控制效果. 其中，以基于交叉口级车辆权重增益的A3C强化学习算法表现最出色，该方法有助于交通信号系统更均匀地分配绿灯时间给所有车道. 降低某些车道出现过度拥堵的风险，同时确保其他车道能够保持通畅，进而减少整体的车辆等待时间. 综上所述，基于深度强化学习的交通信号控制算法在评价指标方面，以交叉口车辆平均等待时间、车辆平均排队长度和平均停车次数为例，明显优于传统的定时控制和模糊自适应控制方法. 相较于传统的DQN和A3C深度强化学习方法，本研究提出的基于车辆权重增益的交通信号控制算法表现更好，尤其是基于融合交叉口级车辆权重增益网络的IVWG-A3C强化学习方法表现最佳.

本文提出融合车辆权重增益的深度强化学习交通信号控制方法，通过提前捕捉关键交通特征信息，提升深度神经网络在特征提取过程中的学习能力. 该方法的核心是利用车辆权重增益网络对不同运动状态的车辆通行优先级进行区分. 当某车道存在大量排队等待通行车辆时，智能体会更倾向于让该车道上的车辆优先通行，提高了交叉口的通行效率. 为了验证本文方法的有效性，基于微观交通仿真软件SUMO，采用不同方法，对单交叉口在低流量、中流量、高流量3种不同交通状态下进行交通信号控制时的控制效果进行仿真测试. 测试结果表明，与其他基线方法相比，所提LVWG-A3C方法和IVWG-A3C方法具有更好的控制效果.

所提方法主要是针对单个交叉口，且在强化学习模型构建和训练过程中，尚未考虑诸如极端天气、交通事故等异常交通场景下的交通状态信息. 为了提高所提方法的实用性，未来研究工作的重点是拓展所提方法去解决区域交通信号协调控制问题.