联网车辆和安全关键型应用的迅速增长，使车联网面临更为严格的时延与可靠性目标^[1-2]. 根据C-V2X和IEEE 802.11p标准，周期性安全信标与事件触发的警报必须在100 ms内完成传输，以确保在高速公路场景下的防碰撞效果^[3]. 在高速公路场景中，车辆间的高相对速度使信道呈现出显著的快速时变特性，导致无线链路条件快速且不可预测地波动^[4]. 这种快速时变性会引发非平稳衰落，使在频谱复用条件下同时满足低时延与高吞吐需求变得极具挑战^[5-6].

高效的资源分配机制能够缓解高速环境下非平稳衰落带来的干扰问题. 传统的设备到设备（device-to-device, D2D）优化方法通常要求解NP难问题，当高速条件下信道时变性强、服务质量（quality of service, QoS）需求异构、环境不确定性显著时，这类方法难以实用. 此外，传统方法往往忽略在高速移动条件下链路间动态的协作与竞争的关系. 在此背景下，多智能体强化学习（multi-agent reinforcement learning, MARL）将每条高速车对车通信(vehicle-to-vehicle, V2V) 链路（vehicular link, VL）建模为智能体，该智能体能够从快速变化的局部观测中学习策略并与相邻智能体协作，为高速公路场景下的 V2V 资源分配提供创新且有效的思路^[7-10]. 已有多种 MARL 技术被用于支持低时延车联网通信，研究重点包括吞吐量最大化、排队时延最小化、能效优化以及车辆协作编队等^[10-16]. 例如，Gao等^[11]将一对多匹配博弈与异构多智能体深度确定性策略梯度算法(multi-agent deep deterministic policy gradient, MADDPG)相结合，实现分布式优化，不仅显著提升了车对基础设施通信(vehicle-to-infrastructure, V2I) 上行总吞吐量，还缩短了收敛时间. 在编队场景中，Parvini等^[12]改进了MADDPG，引入双重评论家以及任务分解机制，以平衡协作与个体奖励，使平均信息新鲜度保持在毫秒级，改进的算法优于基线方法. 为了解决多用户干扰导致的通信传输性能下降问题，宋晓勤等^[13]提出基于多智能体增强型双深度Q网络（enhanced double deep Q-network，EDDQN）的多目标联合优化资源分配算法，有效提高了通信传输性能. Ji等^[14]提出引入低维“指纹”特征和软更新机制的Dueling Double深度Q网络（deep Q network, DQN），在高流量条件下依然能保持可靠的 V2V 通信，并提升 V2I 链路容量. 为了提升车联万物（vehicle-to-everything, V2X）网络中的频谱与功率协同效率，Zhang等^[15]在MARL框架下引入参数共享机制，使单一共享策略模型能够适配不同车辆密度，在低训练开销下保持接近最优的资源分配性能. Chen等^[16]采用深度强化学习动态配置子载波间隔，在车端分布式选择频谱资源，提高了传输可靠性. 当单一集中式控制器为所有智能体统一决策时，策略往往缺乏多样性. 为此，Huang等^[17-18]采用集中训练、分布执行（centralized training with decentralized execution，CTDE）范式，提出基于效用最大化的资源分配算法，实现了更快的收敛和更优的系统性能.

MARL在高速场景下的应用仍面临挑战. 高速移动导致信道快速时变、相干时间显著缩短，引发信道状态信息（channel state information，CSI）获取开销增加与 CSI 时效性退化^[19]，使得传统强化学习算法的状态输入存在滞后和偏差. 车联网中链路间的干扰在频谱复用条件下表现出时变、非平稳的特征：多个链路可能同时占用同一频谱资源，干扰叠加关系随时间演化而变化^[20-23]. 现有方法主要依赖浅层的相关性建模，忽略了这种高阶结构的存在. 例如，Liang等^[24-25]采用DQN实现联合信道与功率分配，以最大化城市道路网络中 V2V 传输成功率与车对网络（vehicle-to-network, V2N）总速率；Vu等^[26]在排队场景下将该方法扩展为 Double DQN，用于同一目标；针对时变CSI场景，Liu等^[27]采用分布式 MARL进行子信道选择与功率控制，提升了V2V 与 V2I 链路的数据包传输成功率. 虽然这些工作在高速、动态网络拓扑下场景取得了一定效果，但较少考虑链路间的多对多干扰模式. 在快时变场景下，大量链路间的干扰对性能波动的响应往往滞后，策略更新缺乏结构一致性，甚至在高干扰时隙中发生不稳定收敛. 因此，如何在高速非平稳的车联网环境中准确建模多链路同时参与并产生联合叠加效应的干扰结构（高阶干扰结构），并在此基础上实现稳定高效的联合资源分配，是亟待解决的问题. 本研究提出基于因果超图神经网络（hypergraph neural network，HGNN）的多智能体近端策略优化算法（multi-agent proximal policy optimization，MAPPO），利用超图结构融合车联网中的网络拓扑、频谱资源与功率信息来刻画多链路间的联合干扰特征，结合多智能体强化学习框架以提高车联网网络吞吐量并降低时延.

如图1所示，考虑由基站BS、车辆用户VUE组成的密集城市场景下的车辆网络模型. 车辆通信网络由VL组成，定义 $ v\in \{1,2,\cdots,V\} $为第$ v $个VUE，$ m\in \{1,2,\cdots,M\} $为第$ m $个VL. VUE 利用车辆网络模型建立自组织网络. 假设VL的CSI已知，并与通过全球定位系统（global positioning system, GPS）获得的 VUE 位置一起发送到云端服务器，因此 V2V 通信模型中的 VUE 在处理信息时无需额外的资源成本. 由于车辆的高流动性，在车辆通信中准确估算瞬时 CSI 具有挑战性. 资源分配发生在车辆位置相对稳定的时间块内，为此假设这些位置在时间块内保持固定. VUE 和基站都配备单天线. 系统总带宽被等分为 $ K $个相互正交的资源块RB，每个RB由一定数量的连续子载波构成. RB的索引集合记为$ \{1,2,\cdots ,K\} $. VUE 通过 V2I 链路与 BS 交互，以便将收集到的信息传送到云服务器进行处理，并接收云服务器计算出的 RB 分配决定. 在所考虑的二维高速公路场景中，信道随机分布在模拟的二维区域中，第$ m $个和第$ n $个V2V 对之间的欧氏距离表示为

(1)$ d=\parallel {\boldsymbol{p}}_{m}\mathbf-{\boldsymbol{p}}_{n}\parallel =\sqrt{{({{x}_{m}}-{{x}_{n}})}^{2}+{({{y}_{m}}-{{y}_{n}})}^{2}}. $

在时隙 $ t $、信道$ m $中，第$ k $个 V2V 对的接收信号为

(2)$ {r}_{m}=P_{m}^{k}G_{m}^{k}+\sum \limits_{n\in {C}_{m}}P_{n}^{k}G_{n,m}^{k}+z_{m}^{k}. $

式中：$ P_{m}^{k} $和$ P_{n}^{k} $（$ n\in {M} $）分别为第$ m $个VL的传输功率和第$ n $个干扰链路的传输功率，$ G_{m}^{k} $为第$ m $个VL对应的信道功率增益，$ G_{n,m}^{k} $为来自第$ n $个VUE的干扰功率增益，$ {C}_{m} $为第$ m $个干扰的 VL集合，$ z_{m}^{k}\sim {{\mathrm{CN}}}(0,\; {\sigma }^{2}) $表示均值为0、方差为$ {\sigma }^{2} $的复加性白高斯噪声（additive white Gaussian noise, AWGN），其中$ {\sigma }^{2} $为噪声功率. 为了准确模拟 VUE 之间的信道增益，参考第三代合作伙伴项目（3GPP）提供的 3GPP TR 36.885 协议^[28]来建立系统模型. 根据该模型，车辆之间的V2V链路主要视为视距（line-of-sight, LoS）传输. 当发射车与接收车距离小于一定的断点距离$ {d}_{{\mathrm{bp}}} $时，路径损耗可以表示为Free Space模型^[29]；超过断点距离后，路径损耗采用双径段模型计算，综合考虑发射端和接收端天线高度以及载波频率等因素，路径损耗表达式为

(3)$ {\mathrm{PL}}_{{\mathrm{LoS}}}^{}=\begin{cases}22.0\mathrm{\lg }(d)+28.0+20\mathrm{\lg }({f}_{\text{c}}/5),&d \lt {d}_{\text{bp}};\\40.0\mathrm{\lg }(d)+7.8-18\mathrm{\lg }({h}_{\text{tx}})-\\\qquad 18\mathrm{\lg }({h}_{\text{rx}})+2\mathrm{\lg }({f}_{\text{c}}/5),&d \gt {d}_{\text{bp}}.\end{cases} $

式中：$ {f}_{\text{c}} $为载波频率，$ {h}_{\text{tx}} $和$ {h}_{\text{rx}} $分别为发射天线和接收天线的高度. 对 VL 的干扰来自 AWGN 和分配到相同频谱资源的 VUE 的信号，在分配的第$ k $个RB（$ k\in {K} $）上，将第$ m $个 VL（$ m\in {M} $）的信噪比（SINRs）定义为

(4)$ \gamma _{m}^{t}=\frac{P_{m}^{k}G_{m}^{k}}{\displaystyle\sum \limits_{n\in {C}_{m}}P_{n}^{k}G_{n,m}^{k}+{\sigma }^{2}}. $

VUE的QoS要求可以参数化为确保服务体验的最低数据速率阈值，即 $ {R}_{m}^{t}\geqslant R_{m}^{{\mathrm{min}}} $，其中 $ {R}_{m}^{t} $为第$ m $个 VUE 的可实现传输速率，

(5)$ R_{m}^{t}=B\cdot {\text{log}}_{2}\left(1+\gamma _{m}^{t}\right). $

式中：$ B $为信道带宽.

每条V2V链路对业务有最低通信服务要求，包括数据速率和时延约束. 用每个车辆用户的最低数据速率阈值$ R_{{m}}^{\min } $表示QoS速率要求. 如果第$ m $条链路的瞬时可实现传输速率$ R_{m}^{t} $低于$ R_{{m}}^{\min } $，则判定该链路在该时隙未满足QoS速率需求. 系统的QoS满足率定义为满足速率要求的链路占总链路数的比例. 假设VL的发射器配备有限长度的缓冲器，并以恒定速率$ \lambda $生成数据. 第$ k $个V2V链路的传输速率$ R_{k}^{t}=B\cdot {\log }_{2}\left(1+\gamma _{k}^{t}\right) $在不同时隙可能会发生变化，因此数据包生成速率和瞬时吞吐量可能会不匹配. 这会导致V2V发送器的队列逐渐累积，从而增加队列延迟. 在时隙$ t $开始时，第$ k $个V2V链路对的队列长度表示为$ Q_{k}^{t} $，更新规则为

(6)$ Q_{k}^{t}=\max \;\{0,\;Q_{k}^{t-1}+\tau \lambda -\tau R_{k}^{t-1}\}. $

式中：$ Q_{k}^{t} $为第$ k $个VL在时隙$ t $开始时的队列积压，$ \tau $为单个时隙的持续时间，$ \lambda $为恒定的数据到达率，$ R_{k}^{t-1} $为前一个时隙的传输速率. 队列延迟是VL延迟的主要组成部分，是本研究主要关注的指标. 根据在队列长度和平均延迟之间建立线性关系的利特尔定律，设置每个数据包最大容忍传输延迟为$ {D}_{\max } $. 相应地，经历较长时间延迟的数据包数量定义为

(7)$ {Q}_{\max }=\lambda {D}_{\max }. $

为了确保概率QoS，延迟约束表述为

(8)$ \Pr \;\{D_{k}^{t}\geqslant {D}_{\max }\}=\Pr\; \{Q_{k}^{t}\geq {Q}_{\max }\}\leqslant {p}_{0}. $

其中$ {p}_{0} $指定了可接受的延迟违规概率. 由马尔可夫不等式将稳态下数据包延迟违反概率的约束转化为对平均队列长度的约束，得到对时间平均队列长度的强化约束

(9)$ {\overline{Q}}_{k}=\underset{T\rightarrow \mathrm{\infty }}{\lim }\frac{1}{T}\sum \limits_{t=1}^{T}{E}[Q_{k}^{t}]\leqslant {p}_{0}\cdot {Q}_{{\mathrm{max}}}. $

该长期平均队列长度约束保证了系统队列在统计意义上的稳定性，有助于降低数据包排队时延并保障其及时传输.

本研究提出基于超图的因果建模机制，用于在强化学习框架中描述车联网中多链路复用产生的联合干扰. 该机制1）将通信链路、信道资源和功率水平建模为超图中的节点，并将分配策略构成超边，能够建模网络拓扑共享信道资源产生的干扰结构. 2）通过超图神经网络在强化学习过程中提取结构化特征，使智能体能够识别并规避高冲突的资源复用模式. 3）将资源分配目标与系统性能约束统一在强化学习的优化框架中，以提升车联网的网络吞吐量与时延性能.

在 V2V 网络中，多链路共享同一频谱会形成复杂的高阶干扰结构，而传统图模型难以表征此类多对多关系^[30-31]. 为了使超图具备因果可解释性，在构建过程中引入必要的前置假设. 车辆位置、发射功率、RB 占用情况和局部 SINR 等关键链路状态在短时间窗口内可观测；环境扰动在该时间窗口内相对平稳，不存在显著的未观测混杂因素；资源分配动作可视为可干预变量，链路级反馈可用于对超边的方向和强度进行弱监督验证. 在此基础上，构建因果超图$ G=\{V,E\} $ 用于描述多链路间的干扰关系，其中节点集

(10)$ {V}=\bigcup\limits_{i=1}^{{{N}_{{\mathrm{tx}}}}}{{{\mathrm{Tx}}}_{i}}\cup \bigcup\limits_{i=1}^{{{N}_{{\mathrm{rx}}}}}{{{\mathrm{Rx}}}_{i}}\cup \bigcup\limits_{k=1}^{K}{{{{\mathrm{Rb}}}_{k}}}\cup \bigcup\limits_{p=1}^{P}{{{P}_{p}}}. $

式中：$ {\text{Tx}}_{i} $为VL发射节点，$ {\text{Rx}}_{i} $为VL接收节点，$ {\text{Rb}}_{k} $为频谱资源块节点，$ {\text{P}}_{p} $为功率节点. 节点集合$ {V} $这样的构造使得资源选择行为被表达为高阶结构，而非传统图中局限于节点到节点之间的二元关系. 在时隙$ t $，将链路的一次分配定义为超边$ {e}_{t} $，表达式为

(11)$ {e}_{t}=({{\mathrm{Tx}}}_{i},{{\mathrm{Rx}}}_{i},{{\mathrm{Rb}}}_{k},{P}_{p}). $

$ {e}_{t} $的可观测结果取该时隙的SINR，记作$ {\boldsymbol{z}}_{{{e}_{t}}} $. 据此得到超图关联矩阵元素$ {H}_{v,{{e}_{t}}}={I}(v\in {e}_{t}) $；其中$ {I}(\cdot ) $为示性函数，若$ v\in {e}_{t} $，则其取值为1，否则取值为0. 该关联矩阵表示节点是否参与对应超边所代表的资源分配. 不同超边的规模不同，直接利用关联矩阵传播特征会造成信息偏置. 进一步引入超边度矩阵$ \boldsymbol{B} $、超边权矩阵$ \boldsymbol{W} $和节点度矩阵$ \boldsymbol{D} $，用于衡量节点的重要性与其接受的信息量，表达式分别为

(12)$ \begin{split}\boldsymbol{B}&=\text{diag}\;({b}_{e});\\\boldsymbol{W}&=\text{diag}\;({w}_{e}),\;{w}_{e}\geqslant 0;\\\boldsymbol{D}&=\text{diag}\;({d}_{v}),\;{d}_{v}=\sum \limits_{e}{w}_{e}{H}_{v,e}.\end{split} $

为了获得稳定的特征传播能力，构造归一化超图拉普拉斯矩阵

(13)$ \boldsymbol{\varDelta }=\boldsymbol{I}-{\boldsymbol{D}}^{-1/2}\boldsymbol{H}\boldsymbol{W}{\boldsymbol{B}}^{-1}{\boldsymbol{H}}^{{\mathrm{T}} }{\boldsymbol{D}}^{-1/2}. $

该矩阵可用于刻画超图的谱特性，其特征值反映节点之间的传递强度及结构一致性，是后续实现高阶特征聚合的基础. 为了便于在后续模型中实现可解释的信息传播，进一步采用超图上的随机游走传播形式，得到传播算子

(14)$ \boldsymbol{T}={\boldsymbol{D}}^{-1}\boldsymbol{H}\boldsymbol{W}{\boldsymbol{B}}^{-1}{\boldsymbol{H}}^{{\mathrm{T}} }. $

该算子描述节点通过超边进行两跳传播的加权转移过程，为后续的超图卷积层提供基础. 其中$ {\boldsymbol{B}}^{-1} $在超边内部做均匀摊派，$ \boldsymbol{W} $区分不同行动强度，$ {\boldsymbol{D}}^{-1} $在节点侧归一化. 传播算子$ \boldsymbol{T} $的逐元素表达式可用于表征一次联合频谱分配引起的节点间两跳影响强度，即

(15)$ {{{T}}_{u,v}} = \frac{1}{{{d_u}}}\sum\limits_{e \in \mathcal{E}} {{{{H}}_{u,e}}} {\mkern 1mu} {w_e}{\mkern 1mu} \frac{1}{{{b_e}}}{\mkern 1mu} {{{H}}_{v,e}}\;( \geqslant 0). $

即若两节点频繁共享某一超边（如多次共用同一RB），则$ {{T}}_{u,v} $较大，外部性强. 基于上述结构，构建多层超图神经网络用于实现高阶干扰特征的提取. 第l层节点特征向量为$ {\boldsymbol{X}}^{(l)} $，更新方式为

(16)$ {{\boldsymbol{X}}^{(l+1)}} = \sigma ({\boldsymbol{T}} {{\boldsymbol{X}}^{(l)}}{\mkern 1mu} {{\boldsymbol{\varTheta}} ^{(l)}}). $

式中：$ {\boldsymbol{X}}^{(l)} $为第$ l $层节点特征，$ {\boldsymbol{\varTheta }}^{(l)} $为可学习权重，$ \sigma (\cdot ) $为非线性函数. 多层传播后得到链路级与全局表征：

(17)$ \boldsymbol{h}_{v}^{(L)}={[{{\boldsymbol{X}}^{(L)}}]}_{v,\colon },{\boldsymbol{h}}_{g}=\text{READOUT}\;({\boldsymbol{X}}^{(L)}). $

其中$ \text{READOUT}\left(\cdot \right) $表示读出函数，用于将第 LLL 层节点特征矩阵 $ {\boldsymbol{X}}^{(L)} $聚合为超图级全局特征向量 $ {\boldsymbol{h}}_{g} $. 式(17)应用到V2V联合分配，在滑动时间窗内持续写入$ \{{e}_{t}\} $，得到时变$ {\boldsymbol{H}}_{t}、 {\boldsymbol{B}}_{t} $和$ {\boldsymbol{D}}_{t} $. 在保持传播机制不变的情况下，将可观测结果反馈至结构权重，取非负超边权为$ {{r}_{t}}/{{\text{SINR}}_{t}} $的单调映射

(18)$ {\boldsymbol{W}}_{t}=\text{diag}({w}_{{{e}_{t}}}),\;{w}_{{{e}_{t}}}=g\left(\frac{{r}_{t}}{{\text{SINR}}_{t}}\;\text{at}\;{e}_{t}\right)\geqslant 0. $

式中：$ {r}_{t} $为$ t $时刻下的奖励，由此得到时变因果传播核与对应的层更新

(19)$ {{\boldsymbol{T}}_t} = {\boldsymbol{D}}_t^{ - 1}{{\boldsymbol{H}}_t}{{\boldsymbol{W}}_t}{\boldsymbol{B}}_t^{ - 1}{\boldsymbol{H}}_t^ {\mathrm{T}} ,{\boldsymbol{X}}_t^{(l+1)} = \sigma\; ({{\boldsymbol{T}}_t}{\mkern 1mu} {\boldsymbol{X}}_t^{(l)}{\mkern 1mu} {{\boldsymbol{\varTheta}} ^{(l)}}). $

$ \boldsymbol{h}_{v}^{(L)} $ 与$ {\boldsymbol{h}}_{g} $分别作为MAPPO的Actor与Critic的附加输入，使策略在不改变PPO裁剪目标的前提下，获取由频谱分配导致的干扰，再由干扰引发性能变化的高阶因果结构，从而规避高冲突复用模式，在吞吐量与时延之间取得平衡.

本研究旨在优化VUE在V2V网络中的吞吐量性能，同时确保满足所有SINR约束以及V2V链路的端到端延迟要求. 根据3GPP技术规范TR 36.885的定义，V2V通信的最大允许端到端传输延迟设定为$ T $（典型值为100 ms）. 在这些约束条件下，所提出的优化问题表达式为

(20)$ \left.\begin{split}& \underset{d_{m,k}^{t}}{\max }\;{\omega }_{1}{R}^{t}-{\omega }_{2}{Q}^{t}.\\& \text{s.t. }{C}_{1}\colon R_{m}^{t}\geqslant R_{m}^{\text{min}},\\&\quad\;\; {C}_{2}\colon {\overline{Q}}_{k}=\underset{T\rightarrow \mathrm{\infty }}{\lim }\frac{1}{T}\sum \limits_{t=1}^{T}{E}[Q_{k}^{t}]\leqslant {p}_{0}\cdot {Q}_{{\mathrm{max}}},\\&\quad\;\; {C}_{3}\colon Q_{k}^{t}\leqslant {Q}_{\max },\\&\quad\;\; {C}_{4}\colon R_{k}^{{m}}\in \{0,1\}.\end{split}\right\} $

目标函数通过最大化加权差值$ {\omega }_{1}{R}^{t}-{\omega }_{2}{Q}^{t} $来实现系统吞吐量$ {R}^{t} $与时延平均队列长度$ {\overline{Q}}^{t} $的平衡，权重系数$ {\omega }_{1}$和${\omega }_{2} $均大于零，分别对应频谱效率与延迟的权衡参数. 约束条件$ {C}_{1} $确保每个虚拟链路均能达成其最低速率要求$ R_{{m}}^{\text{min}} $. 长期队列稳定性条件$ {C}_{2} $将各队列期望长度$ {\overline{Q}}_{k} $维持在阈值$ {p}_{0}\cdot {Q}_{\max } $之下，约束条件$ {C}_{3} $对瞬时积压数据量设定$ {Q}_{\max } $的上限. 约束条件$ {C}_{4} $通过二元分配变量$ {k}^{m}\in \{0,1\} $的约束，保证每个VL在同一时隙内最多被分配一个资源块.

将式(20)建模为具有NP难特性的组合优化问题. 在V2V场景中，非凸约束的存在大大增加了解决这个问题的复杂性. 与传统的凸优化方法相比，强化学习在处理高维动态环境时具有更好的可扩展性. 本研究建立马尔可夫决策过程（Markov decision process, MDP）模型，旨在解决V2V网络中的动态资源分配问题；进一步提出MARL资源分配框架，优化目标：在满足延迟约束的同时最大化系统吞吐量.

使用MDP公式将V2V网络中的频谱资源分配问题建模为完全合作的多智能体任务，提出基于MARL的框架. 利用强化学习进行资源分配是可行的方法. 为了给智能体提供清晰、一致和可计算的框架，有必要构建相应的MDP，包括状态空间、行动空间、奖励函数和策略. 资源分配问题已被证明是NP难问题，决策过程很难构建成可操作性强的确定性优化模型. 无模型强化学习为分布式决策提供了理论框架，允许自主智能体通过局部试错过程逐步逼近最优策略.

在V2V资源分配框架中，每个信号发射器都被建模为独立的智能体. 在时隙t期间，智能体根据当前观测到的网络动态状态选择最优动作. 在收到基于该行动的相应奖励反馈后，环境状态发生转变，进入下一轮决策时隙. 将第$ n $条V2V链路的观测状态向量定义为

(21)$ {{\boldsymbol{s}}}_{t}=[{G}_{t}^{n},{G}_{Q}^{m},{G}_{t}^{S},{G}_{t}^{D}]. $

式中：$ {G}_{t}^{n} $为V2V网络中剩余可用资源的数量，$ {G}_{Q}^{m} $为第$ m $个V2V发射机当前的队列长度，$ {G}_{t}^{S} $为时刻$ t $所有VL的SINR集合，$ {G}_{t}^{D} $为时刻$ t $的信道延迟集合. $ {G}_{t}^{n} $、$ {G}_{Q}^{m} $、$ {G}_{t}^{S} $和$ {G}_{t}^{D} $均随每个时隙实时变化，反映 V2V 网络在快时变CSI的动态环境，为后续策略优化提供完整输入.

智能体在时间步长t时根据状态空间分析环境所采取的行动表示为

(22)$ {a}_{m,k}=\left\{a_{M}^{1},\cdots ,a_{M}^{m},a_{K}^{1},\cdots ,a_{K}^{k}\right\}. $

其中$ {a}_{m}=\{a_{M}^{1},\cdots ,a_{M}^{m}\} $为节点的选择，$ {a}_{k}=\{a_{K}^{1}, \cdots ,a_{K}^{k}\} $为资源块的选择.

为了最大限度地提高VUE的总体吞吐量，同时确保VUE和V2V的服务质量要求，设计的奖励函数为

(23)$ R={\lambda }_{1}{\max }_{{{d}_{m,k}}}{R}^{t}+{\lambda }_{2}\sum \limits_{m\in M}U(Q_{k}^{t}-{Q}_{{\mathrm{max}}}). $

式中：$ K $为资源总数，$ U_{k}^{t} $为在时隙$ t $使用的RB数量，$ {\lambda }_{1} $和$ {\lambda }_{2} $为加权系数. 在时隙$ t $，所有智能体都独立采取行动，并获得由BS处理的全局奖励$ {R}^{t} $. 每个时隙的智能体最终都会收到BS广播的全局奖励评估.

在将吞吐量最大化资源分配问题表述为MDP之后，RL已成为推导最优策略的主流工具. 在这种情况下，每个VL都是独立的RL智能体. 本研究采用MAPPO算法进行策略训练. 在考虑的V2V网络中，各V2V链路视作独立智能体，策略$ \pi _{\theta }^{i}(a_{t}^{i}|o_{t}^{i}) $表示在当前局部观测$ o_{t}^{i} $下选择资源块与功率等级$ a_{t}^{i} $的概率分布. 集中式Critic共享全局状态$ {{\boldsymbol{s}}}_{t} $以评估价值函数$ {V}_{\phi }({{\boldsymbol{s}}}_{t}) $用于稳定训练，在执行阶段，各智能体独立基于自身观测进行分布式决策，目标是最大化所有链路的期望累计回报：

(24)$ J(\theta )={{E}}_{{{\pi }_{\theta }}}\left[\sum \limits_{t=0}^{\mathrm{\infty }}{\gamma }^{t}{r}_{t}\right]. $

式中：$ {r}_{t} $为在$ t $时刻链路性能的即时奖励，$ \gamma $为折扣因子. 根据策略梯度定理，目标函数的梯度为

(25)$ \;{\nabla _\theta }J(\theta ) = {{{E}}_t}\left[ {{\nabla _\theta }\log {\pi _\theta }({a_t}\mid {{\boldsymbol{s}}_t}){\mkern 1mu} {A_t}} \right]. $

其中$ A_{t}=Q\left({\boldsymbol{s}}_{t}, a_{t}\right)-V\left({\boldsymbol{s}}_{t}\right) $为优势函数，用于衡量动作$ {a}_{t} $相对当前策略期望的改进幅度. 在V2V场景中，该梯度反映资源分配策略参数变化对网络性能的影响方向，直接更新会导致策略在相邻迭代间差异过大，造成学习不稳定. 为此，PPO引入剪切概率比（clipped ratio）机制，限制每次策略更新幅度，实现稳定的单调改进. 定义新旧策略的概率比为

(26)$  {r}_{t}(\theta )=\frac{{\pi }_{\theta }({a}_{t}\mid {{\boldsymbol{s}}}_{t})}{{\pi }_{{{\theta }_{\text{old}}}}({a}_{t}\mid {{\boldsymbol{s}}}_{t})}. $

$ {r}_{t}(\theta ) $用于度量在更新后策略下动作选择概率相对于旧策略的变化程度，在传统策略梯度中，期望回报近似为$ {E}\left[r_{t}(\theta) A_{t}\right] $，这种形式容易在高优势动作上产生过度更新. PPO利用剪切函数替代原有期望形式，对$ r_{t}(\theta) $的变化进行限制. 替代后的目标函数定义为

(27)$ {L}^{\text{CLIP}}(\theta )= {\widehat{{E}}}_{t}\left[\min \left({r}_{t}(\theta ){\hat{A}}_{t},\;\text{clip}\left({r}_{t}(\theta ),1-\epsilon ,1+\epsilon \right){\hat{A}}_{t}\right)\right]. $

其中$ \epsilon $为裁剪阈值超参数，用于约束更新步长，防止策略过度偏离旧分布. 优势项$ {\hat{A}}_{t} $采用广义优势估计（generalized advantage estimation, GAE）计算，以平衡方差与偏差：

(28)$ {\delta }_{t}={r}_{t}+\gamma {V}_{\phi }({{\boldsymbol{s}}}_{t+1})-{V}_{\phi }({{\boldsymbol{s}}}_{t}),\;{\hat{A}}_{t}=\sum \limits_{l=0}^{L-1}{(\gamma \lambda )}^{l}{\delta }_{t+l}. $

其中$ \lambda $为GAE系数，用于控制时间相关性，$ {\hat{A}}_{t} $为在车联网的资源分配任务中链路在当前分配策略下，系统总体时延收益的边际提升程度. 为了提供稳定的基准值，价值函数采用最小均方误差形式拟合真实回报：

(29)$ \;{L^V}(\phi ) = \frac{1}{2}{\mkern 1mu} {\widehat {{E}}_t}\left[ {{{({V_\phi }({{\boldsymbol{s}}_t}) - {{\hat V}_t})}^2}} \right]. $

引入策略分布熵正则项以维持探索性，避免策略收敛过早至局部最优：

(30)$  S[{\pi }_{\theta }]={\widehat{{E}}}_{t}[-\log {\pi }_{\theta }({a}_{t}\mid {{\boldsymbol{s}}}_{t})]. $

综合考虑3项损失，PPO 的总体优化目标写为

(31)$  {L}^{\text{PPO}}={L}^{\text{CLIP}}-{c}_{1}{L}^{V}+{c}_{2}S[{\pi }_{\theta }]. $

其中$ {c}_{1} $和${c}_{2} $均为权重系数，用于平衡策略改进、价值评估与探索度.

在V2V网络中，存在多链路并行决策的情况. MAPPO将上述单智能体PPO拓展为多智能体形式，使所有链路智能体在共享Critic的前提下进行协同优化. 如图2所示，MAPPO在训练阶段采用集中式训练、执行阶段采用分布式决策的框架，使得算法既能够在训练中利用全局信息提升收敛性与稳定性，又能在执行中仅依赖局部观测实现低时延与低通信开销的实时决策. 假设系统中共有$ N $个智能体，每个智能体的策略为$ \pi _{\theta }^{i}(a_{t}^{i}|o_{t}^{i}) $，Critic共享参数$ \phi $，以全局状态$ {{\boldsymbol{s}}}_{t} $估计全局价值$ {V}_{\phi }({{\boldsymbol{s}}}_{t}) $. MAPPO的目标函数为

(32)$ \begin{split} {L}^{\text{MAPPO}}(\theta )= & \frac{1}{N}\sum \limits_{i=1}^{N}{\widehat{{E}}}_{t}\left[\min \left(r_{t}^{i}(\theta )\hat{A}_{t}^{i},\; \right.\right.\\& \left.\left. \text{clip}\left(r_{t}^{i}(\theta ),1-\epsilon ,1+\epsilon \right)\hat{A}_{t}^{i}\right)\right].\end{split} $

其中$ r_{t}^{i}(\theta ) $按概率比定义，优势$ \hat{A}_{t}^{i} $由集中式Critic计算. 这种结构使各链路在训练中能够感知系统级干扰影响，在执行时仍可独立决策，实现低通信开销下的协同分配. 尽管MAPPO能有效稳定训练，但输入状态通常基于独立链路观测，难以捕捉链路间的干扰关联. 本研究在Actor与Critic网络中引入HGNN模块，使智能体能够在学习过程中建模链路间的干扰结构. HGNN模块提取的节点级$ \boldsymbol{h}_{v}^{(L)} $与全局嵌入特征$ {\boldsymbol{h}}_{g} $分别输入Actor与Critic，实现在感知链路干扰状态的情况下优化资源分配策略. 在训练过程中，HGNN作为 Actor-Critic的结构化特征编码层，与策略损失、价值函数损失及熵正则项共同参与联合优化，参数更新由MAPPO的总体目标函数驱动，因此无需设定独立的监督式损失函数，训练作用可从整体策略性能的逐步收敛中得到体现. 为了反映信道与功率随时间的动态变化，依据即时奖励与SINR自适应更新超边权：

(33)$  {\boldsymbol{W}}_{t}=\text{diag}\left(f\left(\frac{{r}_{t}}{{\text{SINR}}_{t}}\right)\right),\;{\boldsymbol{T}}_{t}=\boldsymbol{D}_{t}^{-1}{\boldsymbol{H}}_{t}{\boldsymbol{W}}_{t}\boldsymbol{B}_{t}^{-1}\boldsymbol{H}_{t}^{{\mathrm{T}} }. $

基于即时奖励与 SINR 的超边权重自适应更新机制，使传播核$ {\boldsymbol{T}}_{t} $随网络环境演化调整，实现网络系统性能到分配策略的联合优化. MAPPO算法的步骤概述如算法1所示. 从1）单个智能体Actor-Critic网络训练，2）集中式Critic在全局范围内的参数更新评估MAPPO的计算复杂度. 在每轮训练中，单个智能体的模型复杂度主要由Actor与Critic的前向与反向传播组成，记为$ {T}_{{\mathrm{MAPPO}}} $，受到本地训练迭代次数$ {K}_{i} $的影响. 单个智能体的训练复杂度可表示为$ O({T}_{{\mathrm{MAPPO}}}\times {K}_{i}) $. 由于MAPPO采用CTDE架构，Critic参数在中心端统一更新. 当所有智能体独立维护Actor网络时，整体复杂度随智能体数量$ P $线性增长，综合复杂度可概括为$ O\left(P+{{T}_{{\mathrm{MAPPO}}}\times {K}_{i}}/{P}\right) $. 该结果表明，MAPPO的主要计算开销来源于Actor-Critic网络的更新与样本交互过程，复杂度随智能体数量、网络规模以及迭代次数的增加而线性增加.

算法1　基于因果超图神经网络的多智能体近端策略优化方法

输入：车联网环境状态 $ {\boldsymbol{s}}_{t} $，HGNN 结构图$ {\boldsymbol{G}}_{t} $

输出：资源分配策略$ \pi _{\theta }^{}(a_{t}^{}|{\boldsymbol{s}}_{t}^{}) $

1. 初始化经验回放缓冲区$ D $，为每个智能体初始化Actor网络和Critic网络

2. 初始化目标网络

3. for每个轮次执行

4. 　重置环境并获取初始状态$ {{\boldsymbol{s}}}_{t} $，构建当前时隙的超图$ {\boldsymbol{G}}_{t} $

5.　 for每个时间步$ t $执行

6. 　　通过 HGNN 传播更新节点特征：

$ {\boldsymbol{X}}^{(l+1)}=\sigma (\boldsymbol{T}{\boldsymbol{X}}^{(l)}{{\boldsymbol{\varTheta}} }^{(l)}) $

7. 　　获取链路级嵌入 $ \boldsymbol{h}_{y}^{(L)} $与全局嵌入$ {\boldsymbol{h}}_{g} $，分别输入 Actor 与 Critic

8. 　　每个智能体根据策略网络$ \pi_{\theta}^{i}\left(\alpha_{t}^{i} \mid {\boldsymbol{s}}_{t}^{i}, h_{y}^{(l)}\right) $采样动作$ \alpha_{t}^{i} $

9. 　　执行联合动作$ A=({a}_{1},{a}_{2},\cdots {a}_{n}) $以获得下一个状态$ {{\boldsymbol{s}}}_{t+1} $和奖励$ {r}_{t} $

10. 　　将$ ({{\boldsymbol{s}}}_{t},A,r,{{\boldsymbol{s}}}_{t+1}) $存储到经验回放缓冲$ D $.

11. 　　if $ \left| D\right| \geqslant \text{batch size} $

12. 　　　从$ D $中随机抽取一批转换样本$ ({\boldsymbol{s}}_{t}^{j},{A}^{j},r_{t}^{j}, {\boldsymbol{s}}_{t+1}^{j} $)

13. 　　计算优势函数：$ {\hat{A}}_{t}={R}_{t}-{V}_{\phi }({{\boldsymbol{s}}}_{t},{h}_{g}) $

14. 　　计算 PPO 裁剪目标函数：

$ {L}^{\text{CLIP}}(\theta )={\widehat{{E}}}_{t}\left[\min \left({r}_{t}(\theta ){\hat{A}}_{t},\;\text{clip}\left({r}_{t}(\theta ),1-\epsilon ,1+\epsilon \right){\hat{A}}_{t}\right)\right] $

15. 　　根据损失函数梯度下降更新 $ \theta_{i}, \phi_{i} $，同时更新 HGNN 参数$ {\boldsymbol{\varTheta}}^{(l)} $

16. 　更新下一时隙超图结构$ \boldsymbol{G}_{t+1} $与状态$ {{\boldsymbol{s}}}_{t+1} $

17. 　end for

18. end for

19. 输出收敛后的策略$ \pi _{\theta }^{*} $

通过数值模拟来评估所提算法的有效性. 所有实验均在AMD® Ryzen^TM 7 7840H CPU（3.80 GHz）、32 GB 内存和NVIDIA® GeForce RTX 4060 移动GPU的PC上进行. 算法在Python 3.9.21和PyTorch 2.3.0环境上实现. 将MAPPO与3种基准方案（PPO、DDQN和聚类算法）进行比较分析，以Adam为优化器，仿真实验参数见表1.

如图3所示为在10条与20条VL规模下，本研究所提算法（MAPPO-HGNN）、基于CNN的PPO和DDQN算法在训练过程中的平均累计奖励变化趋势. 可以观察到，在不同网络规模的场景中，3种方法的累计奖励均随训练轮次整体上升并最终趋于收敛，但其收敛速度和稳定性存在明显差异. 不同网络规模下的初始奖励水平略有区别，反映了状态空间和干扰结构的变化. 在训练初期（epoch=0~300），3种算法都从较低的负奖励区域起步，所提算法的上升速度在2种网络规模下均最为明显，较早进入接近零值甚至正值的区域，PPO和DDQN在相同时段仍主要停留在较深的负值区间，表明MAPPO-HGNN能更快速地从探索阶段过渡到有效策略区域. 在中期阶段（epoch=300~1200），所提算法的累计奖励在2个规模下持续稳步提升，反映其不断在新的状态区域中获得更优策略. 相比之下，PPO虽然整体保持上升，但斜率较小且伴有一定振荡；DDQN的提升更为缓慢，波动幅度也相对更大. 在2种规模收敛图的后期阶段，3种算法的曲线逐渐趋于平稳，表明训练过程基本收敛. 此时MAPPO-HGNN的平均累计奖励在2种网络规模下均明显高于PPO与DDQN，说明在决策维度增加、链路间干扰更强的条件下，所提算法仍能保持较高的学习效率和收敛稳定性. 综上，MAPPO-HGNN在不同网络规模下均展现出更快的收敛速度、更平稳的训练曲线以及更优的最终性能，验证了因果超图结构在多链路干扰建模和策略优化中的有效性，进一步体现了所提算法在高速车联网场景下的鲁棒性.

如图4所示，4种算法的平均吞吐量R_ave均随V2V链路规模扩大而上升，表明各方法在高负载条件下均具备可扩展性. 在VL=10的场景中，所提算法相较于PPO、DDQN与聚类方法的平均吞吐量分别提升约17%、23%与30%；当VL=20时，性能提升幅度进一步扩大，分别高出约26%、28%和35%；在VL=30的高负载环境下，所提算法依然保持领先优势，平均提升约26%、32%与40%. 结果表明，所提算法不仅在3种V2V链路规模下都获得了最高吞吐量，在更大负载下也能更有效地扩展.

如图5所示，每个子图中的灰色阴影框表示四分位距区间（IQR==Q1—Q3），即延迟样本中间50%的范围，须线对应最小值与最大值. 当VL=10时，所提算法表现出最低的整体时延，平均值约17 ms，中间50%的延迟分布集中且区间最窄. 相比之下，PPO、DDQN与聚类方法的时延分布明显更宽，平均延迟更高，且极值差距更大，说明它们在轻载环境下存在不稳定的调度开销. 当VL=20时，所有算法的平均时延均有所上升，但增长幅度最小，仍保持较窄的四分位区间和较低的中位线位置. 在VL=30的高负载场景下，所提方法依旧保持显著优势，其平均延迟约38 ms，比次优算法低约17%，并且延迟分布的波动范围最小. 这表明，基于因果超图结构的优化机制能够在网络密度增加时有效抑制时延扩散，实现更稳健的传输性能与资源协同能力.

如图6所示为不同算法在不同VL规模下的资源复用率r_ru表现. 随着VL数量的增加，系统可调度的链路资源增多，使得整体资源利用效率显著提升. 可以观察到，所有算法的资源复用率均随VL的增加而上升，表明系统在高负载条件下具备一定的可扩展性. 从对比结果来看，所提算法始终表现出最高的资源复用率，曲线增长最为平稳，平均优于其他算法超过15%. PPO与DDQN的性能相近，二者在中高负载下均能维持较高的复用率，聚类算法整体表现最低，增长幅度也较为有限. 总体来看，所提算法通过因果超图建模的网络拓扑信息，有效提高了系统的频谱资源分配效率，在不同网络规模下均保持了优异的资源复用性能.

本研究提出基于因果超图神经网络的多智能体近端策略优化算法. 通过将车辆通信链路、频谱与功率建模为超图结构，刻画了多链路同时参与并产生联合叠加效应引发的高阶干扰关系；结合多智能体强化学习机制，实现了在非平稳网络环境下的频谱资源分配. 仿真结果表明，所提算法在多种车辆密度下相比基线算法吞吐量与时延性能更优，频谱资源复用率更高，验证了在快时变V2V场景下算法的有效性与鲁棒性. 本研究的主要贡献包括：1）构建融合链路拓扑、频谱占用与功率状态的因果超图，实现对多链路高阶干扰关系的统一建模；2）设计超图神经网络，提取多层次干扰特征，为资源分配决策提供结构化表示；3）将超图特征融入集中式训练、分布式执行的MAPPO框架，实现频谱资源的动态优化. 未来，将进一步提升模型在非完美CSI情况下的泛化性. 针对实际车联网中CSI可能受到噪声、反馈滞后和环境扰动的影响问题，计划探索在CSI不确定性下更具鲁棒性的因果结构建模与策略优化机制，引入联邦学习机制以支持跨区域模型协同，进一步增强算法在复杂场景中的泛化能力与工程适用性.