随着车载网络快速发展，智能交通、自动驾驶和车联网等应用对通信与计算能力提出严峻挑战^[1-3].传统云计算延迟高、带宽压力大，难以满足实时需求^[4]. 移动边缘计算（mobile edge computing, MEC）通过将算力下沉至边缘，能够显著降低延迟并缓解拥塞^[5]. 然而，固定部署的MEC服务器在车辆高速移动或流量激增时，可能出现覆盖盲区与资源过载问题. 路侧单元（roadside unit, RSU）^[6-7]凭借广域覆盖与灵活部署的优势，被广泛用于配合MEC执行任务卸载与处理^[8].

深度强化学习（deep reinforcement learning, DRL）因在复杂环境中具有强决策能力，成为MEC资源优化的重要手段. Yang等^[9]针对多用户、多服务器MEC环境的资源与延迟约束，提出基于改进深度Q网络（deep Q-network, DQN）的联合任务卸载与资源分配方法，有效降低了完成时间与终端能耗. Li等^[10]面向5G边缘计算，提出基于DRL的任务映射与图序列算法，将任务建模为马尔可夫决策过程（markov decision process, MDP）以优化综合收益. 现有DRL方案虽成效显著，但在应对车联网高动态及复杂状态空间时，决策稳定性与探索能力仍显不足，难以满足严格实时要求.

缓存优化是提升MEC性能的另一重要方向. Ren等^[11]提出结合请求调度与服务缓存的在线优化方法；Mohammed等^[12]设计了面向能耗与延迟的缓存机制；Li等^[13]将优先级替换与预测性预取相结合；Moradi等^[14]提出智能任务缓存方法，提高计算吞吐率. 现有方法虽提升命中率并降低延迟，但对交通流量等环境不确定性考虑不足，且缓存与卸载决策独立，限制了整体协同性能.

多RSU协作与智能调度是克服通信盲区、提升协同效率的重要途径. Zhao等^[15]研究了基于信任的恶意RSU检测机制以保障安全；Zhu等^[16]探索了支持多RSU部署的5G车辆微蜂窝天线设计；Luo等^[17]提出基于DRL的协作数据调度方法提升了信息分发效率. 上述研究虽在覆盖、安全与协作上取得进展，但针对车联网的高动态与不确定性，仍缺乏卸载与缓存协同优化的统一方案.

本文针对自动驾驶中任务波动大、链路不稳定及资源受限等问题，提出基于RSU主动感知的任务预测与优化方法. 构建卫星-RSU-车辆协同模型，实现卸载与资源一体化优化. 引入融合环境不确定性的增强型单变量霍克斯模型（enhanced univariate Hawkes, EU-Hawkes），以提升预测精度. 将优化问题建模为0-1规划并转化为MDP，在近端策略优化（proximal policy optimization, PPO）框架下结合不确定性感知探索、自适应裁剪与L2正则化，提出不确定性感知增强型近端策略优化算法（enhanced univariate proximal policy optimization, EUPPO），从而有效提升训练稳定性与动态适应性，降低系统延迟并提高资源利用率.

所提的模型由$ u $个路侧单元、1个卫星和$ v $辆自动驾驶车辆（AV）组成. 整体系统架构如图1所示. 在每个时隙$ t $中，RSU主动监控道路环境. 当AV生成任务请求时，相关信息如初始任务数据大小${d}_{y(t)} $、计算复杂度因子${B}_{y(t)} $、任务类型${E}_{y(t)} $、有效性${{{e}^{\prime}}}_{y(t)} $和优先级${\omega }_{y(t)} $等，被记录为待处理任务的集合$ \boldsymbol{{{y}}}(t)=\{{d}_{y(t)},{B}_{y(t)},{E}_{y(t)},{{{e}^{\prime}}}_{y(t)},{\omega }_{y(t)}\} $并传输到MEC系统进行评估.

在接收到任务请求后，MEC系统综合考虑网络状态、任务复杂度及各节点资源，评估计算与传输开销并作出卸载决策：优先将任务分配至邻近RSU，若其资源不足，则转发至卫星节点执行，处理结果最终回传至车辆.

基于任务规模、类型及时延约束等信息，系统联合优化计算资源与缓存策略，并在EUPPO算法驱动下动态选择最优卸载节点. 利用EU-Hawkes模型预测缓存需求，以提升缓存命中率与响应效率. 假设采用单跳通信，不涉及车对车（vehicle to vehicle, V2V）交互.

在RSU辅助的MEC系统中，缓存管理对提升任务处理效率至关重要. 针对车辆动态环境下任务需求难以准确预测的问题，为了有效提升缓存命中率与系统处理效率，提出基于EU-Hawkes模型的任务预测与缓存管理机制. Hawkes模型能够刻画事件的自激特性，通过建模历史任务对未来需求的影响，实现对任务流行度及时间分布的有效预测.

在建模过程中，为了反映高度动态车联网环境中任务需求的异构性，将环境划分为$ K $个类别，并允许不同地理位置的任务流行度存在差异. 在系统启动初期，所有类别任务的流行度通过对历史数据的初步分析进行初始化，使任务流行度反映实际场景中的基础需求分布，从而更符合实际情况. 基于Hawkes模型，将每个类别的受欢迎程度表示为$ {H}_{k}(t) $，$ k\in \{1,2,\cdots,K\} $. 将$ {H}_{k}(t) $经过归一化处理后存储于流行度矩阵$ \boldsymbol{H} $中，通过矩阵$ \boldsymbol{H} $表示不同类别的受欢迎程度，未来任务流行度的预测表示如下：

(1)$ {H}_{k}(t)={H}_{k}(t-1)+\sum \eta {\text{exp}}\;[{-\sigma (t-{{t}_{i}})}]. $

式中：$ \eta $表示历史事件对未来事件的影响，$ \eta\geqslant 0 $；$ \sigma $为历史衰减系数；$ {t}_{i} $为过去事件的发生时间.

传统Hawkes模型仅关注历史任务对未来事件的影响，未能充分考虑外部环境的动态变化及系统不确定性. 在RSU辅助的自动驾驶场景中，任务需求分布常受到交通流量、天气条件、突发事件等外部环境波动的影响. 在传统Hawkes模型框架的基础上，引入环境不确定性因素，提出EU-Hawkes模型，以提高任务需求预测的准确性和适应性. 该EU-Hawkes模型的预测公式如下：

(2)$ {H}_{k}(t)={H}_{k}(t-1)+\sum \limits_{{t}_{i} \leqslant t}\eta {\text{exp}}\;[{-\sigma (t-{{t}_{i}})}]+\gamma U(t). $

式中：$ \gamma $为不确定性因素的权重；$ U(t) $表示外部环境条件对任务请求的随机影响，

(3)$ U(t)={w}_{1}\vartheta (t)+{w}_{2} \psi (t)+{w}_{3} \varsigma (t)+\cdots +{w}_{N} \zeta (t). $

其中，$ \vartheta (t) $为在t时刻路侧单元覆盖区域内的实时交通密度，$ \psi (t) $为在时刻$ t $的天气状况对任务请求的影响因子，$ \varsigma (t) $为在时刻$ t $突发事件的强度，$ \zeta (t) $表示其他可量化的外部因素，以上取值均为[0,1.0]；$ {w}_{1},{w}_{2},{w}_{3},\cdots ,{w}_{N} $为各项外部因素的权重系数.

在MEC系统中，假设每个RSU的缓存容量相同，记为$ M $. 当系统决定在相应的RSU中缓存内容时，RSU中的缓存状态矩阵$ \boldsymbol{C} $表示为

(4)$ {\boldsymbol{C}}_{i,k}={\left[{c}_{i,k}\right]}_{U\times K}. $

式中：$ {c}_{i,k} $表示第 $ i $个RSU对任务类别$ k $的结果缓存状态，$ {c}_{i,k}=1 $表示第 $ i $个RSU缓存了任务类别$ k $的结果，$ {c}_{i,k}=0 $表示未缓存，$ {c}_{i,k}\in \left\{0,1\right\} $.

在设定的缓存更新机制中，当缓存占用达到容量$ M $时，系统优化现有缓存内容，以优先保留高优先级任务的计算结果. 定义并计算未来请求概率，记作$ \xi (t) $，用以评估每个任务在未来被再次调用的可能性. 未来请求概率的公式表示为

(5)$ \xi (t)=\int \nolimits_{t}^{\mathrm{\infty }}{H}_{k}({t}^{\circ })\text{d}{t}^{\circ }. $

式中：$ {H}_{k}({t}^{\circ }) $为任务类别$ k $在未来时刻$ {t}^{\circ } $的预测到达概率.

在每个时隙$ t $开始时，所有RSU主动检查缓存内容，并自动将过期的内容从缓存空间中移除. 缓存状态矩阵$ \boldsymbol{C} $中的相应位置$ {c}_{i,k} $被设置为0. 假设RSU在时隙$ t $感知到任务$ \boldsymbol{{{y}}}(t) $并做出缓存决策$ {\varphi }_{y(t)} $，则矩阵$ \boldsymbol{C} $中每个元素的更新过程用下式表示：

(6)$ {c}_{i,k}(t+1)=\begin{cases} {c}_{i,k}(t)， & {\varphi }_{y(t)}=0;\\F({\varphi }_{y(t)}={i})， & {\varphi }_{y(t)}\neq 0.\end{cases} $

式中：$ {\varphi }_{y(t)}=0 $表示不对任务$ \boldsymbol{{{y}}}(t) $进行缓存决策；$ {\varphi }_{y(t)}=i $表示任务卸载至第$ i $个RSU时MEC系统进行缓存决策；$ F({\varphi }_{y(t)}=i) $为指示函数，当MEC系统对任务$ \boldsymbol{{{y}}}(t) $作出缓存决策，并决定将结果缓存至第 $ i $个RSU时，其值为1，否则为0.

在缓存模型中，采用缓存命中率作为衡量缓存操作效果的指标，该指标反映系统对所有车辆请求的响应能力. 任务类别$ k $在时刻$ t $的缓存结果命中率为

(7)$ {P}_{k}(t)=\sum \limits_{i\in {\bf{N}}^*}{H}_{k}(t){c}_{i,k}(t){G}_{i}(t). $

式中：$ {G}_{i}(t) $为在$ t $时刻第$ i $个RSU覆盖区域内的实时车辆密度.

在缓存决策过程中，定义未来命中次数为$ P_{k}^{\circ }(m) $，综合评估当前决策对未来时间段的影响，以衡量MEC系统在未来某一时刻$ m $时对自动驾驶车辆请求的响应能力.

(8)$ \sum \limits_{m=t+1}^{t+\lambda }P_{k}^{\circ }(m)=\sum \limits_{m=t+1}^{t+\lambda }\sum \limits_{i}H_{k}^{\circ }(m)c_{i,k}^{\circ }(m)G_{i}^{\circ }(m). $

式中：$ \lambda $为未来时间段的预测时长，$ H_{k}^{\circ }(m) $为未来某一时刻m的流行度，$ c_{i,k}^{\circ }(m) $表示未来某一时刻m的缓存状态，$ G_{i}^{\circ }(m) $表示未来某一时刻m的交通状况. 当前缓存命中计数为

(9)$ Q(t)={H}_{k}(t)+\sum \limits_{m=t+1}^{t+\lambda }\rho (m) P_{k}^{\circ }(m). $

式中：$ \rho (m) $为折扣因子，它用于控制未来缓存命中次数的权重.

在MEC系统中，缓存感知任务的处理须经由计算节点执行. 计算节点包括卫星、RSU和AV，它们在计算能力、通信带宽及处理延迟上均有差异，任务传输至不同节点产生的延迟也不同. MEC系统在任务分配时，综合考虑任务延迟要求、数据规模、计算复杂性与各节点的实时资源负载，动态选择最佳计算节点.

1）当任务卸载到卫星时，由于算力强大，计算延迟可以忽略不计. 总延迟由初始任务数据的上传延迟$ T_{{\mathrm{G}},0}^{{\mathrm{f}}}(t) $和结果下载延迟$ T_{{\mathrm{G}},0}^{{\mathrm{r}}}(t) $组成，计算公式如下：

(10)$ T_{\text{G},0}^{{\mathrm{f}}}(t)=\delta _{\text{G}}^{u} {d}_{y}{}_{(t)}, $

(11)$ T_{\text{G},0}^{{\mathrm{r}}}(t)=\delta _{\text{G}}^{u} {{{d}_{y(t)}^{\prime}}}. $

式中：$ \delta _{\text{G}}^{u} $为RSU节点与卫星节点之间的传输效率，$ {d}_{y}{}_{(t)} $为任务的初始数据大小，$ {{{d}_{y(t)}^{\prime}}} $为任务处理后的数据大小.

卫星的总延迟$ {T}_{\text{G},0}(t) $表示为

(12)$ {T}_{\text{G},0}(t)=T_{\text{G},0}^{{\mathrm{f}}}(t)+T_{\text{G},0}^{{\mathrm{r}}}(t). $

2）当任务卸载到RSU时，总延迟由任务上传延迟、结果下载延迟、排队延迟及处理延迟构成，记为$ {T}_{\text{U},i}(t) $. $ {T}_{\text{U},i}(t) $的计算公式如下.

(13)$ T_{\text{U},i}^{{\mathrm{f}}}(t)=\begin{cases} 0， & x=i;\\\delta _{\text{U}}^{u} {d}_{y(t)}， & x\neq i.\end{cases} $

(14)$ T_{\text{U},i}^{{\mathrm{r}}}(t)=\begin{cases} 0， & x=i;\\\delta _{\text{U}}^{u} {{{d}^{\prime}}}_{y(t)}， & x\neq i.\end{cases} $

式中：$ x $表示系统选择的计算节点，$ x\in \{1,2,\cdots,u\} $，其中u为RSU节点数；$ i\in \{1,2,\cdots,u\} $；$ \delta _{\text{U}}^{u} $为RSU节点之间的传输效率. 若计算节点与检测任务的RSU节点不同，则任务数据须从检测节点传输至计算节点；否则，传输延迟为零. 若缓存节点与计算节点不同，则计算结果须传输至缓存节点；否则，传输延迟为零.

(15)$ T_{\text{U},i}^{{\mathrm{w}}}(t)=\sum \limits_{x\in l(i,t)}\frac{h_{t}^{i}(x)}{Z_{\text{U}}^{i}}, $

(16)$ T_{\text{U},i}^{{\mathrm{p}}}(t)=\frac{{d}_{y}{}_{(t)}}{Z_{\text{U}}^{i} {B}_{y(t)}}. $

式中：$ T_{\text{U},i}^{{\mathrm{w}}}(t) $为等待延迟，$ l(i,t) $表示在第 $ i $个RSU在时隙$ t $时的任务列表，$ h_{t}^{i}(x) $表示任务列表中第 $ x $个任务，$ Z_{\text{U}}^{i} $表示第 $ i $个RSU的处理能力，$ T_{\text{U},i}^{{\mathrm{p}}}(t) $为处理延迟. 计算复杂度因子表示RSU的处理能力，对确定任务处理延迟至关重要.

基于以上分析，第 $ i $个RSU的总延迟可以表示为

(17)$ {T}_{\text{U},i}(t)=T_{\text{U},i}^{{\mathrm{r}}}(t)+T_{\text{U},i}^{{\mathrm{w}}}(t)+T_{\text{U},i}^{{\mathrm{p}}}(t)+T_{\text{U},i}^{{\mathrm{f}}}(t). $

3）当任务卸载到AV时,总延迟记为$ {T}_{\text{V},i}(t) $，由传输延迟和计算延迟组成.

(18)$ T_{\text{V},i}^{{\mathrm{f}}}(t)=\delta _{\text{V}}^{u} {d}_{y(t)}, $

(19)$ T_{\text{V},i}^{{\mathrm{r}}}(t)=\delta _{\text{V}}^{u} {{{d}^{\prime}}}_{y(t)}, $

(20)$ T_{\text{V},i}^{{\mathrm{w}}}(t)=\sum \limits_{x\in l(i,t)}\frac{h_{t}^{i}(x)}{Z_{\text{V}}^{i}}, $

(21)$ T_{\text{V},i}^{{\mathrm{p}}}(t)=\frac{{d}_{y(t)}}{Z_{\text{V}}^{i} {B}_{y(t)}}. $

式中：$ \delta _{\text{V}}^{u } $为RSU节点与AV节点之间的传输效率；$ T_{\text{V},i}^{{\mathrm{f}}}(t) $为上传延迟，$ T_{\text{V},i}^{{\mathrm{r}}}(t) $为下载延迟，$ T_{\text{V},i}^{{\mathrm{w}}}(t) $为等待延迟，$ T_{\text{V},i}^{{\mathrm{p}}}(t) $为处理延迟；$ Z_{\text{V}}^{i} $表示车辆的任务处理能力，其中$ i\in \{u+1,u+2,\cdots,u+v\} $，其中$v $为车辆数.

综上，第$ i $辆AV的总延迟可以表示为

(22)$ {T}_{\text{V},i}(t)=T_{\text{V},i}^{{\mathrm{f}}}(t)+T_{\text{V},i}^{{\mathrm{r}}}(t)+T_{\text{V},i}^{{\mathrm{w}}}(t)+T_{\text{V},i}^{{\mathrm{p}}}(t). $

基于3类计算节点的延迟，任务$ \boldsymbol{{{y}}}(t) $的总延迟表示为$ T(t) $，公式如下：

(23)$\begin{split} T(t)={T}_{\text{G},0}(t) {O}_{i}(t)+\sum \limits_{i=1}^{u}{T}_{\text{U},i}(t) {O}_{i}(t)+\sum \limits_{i=u+1}^{u+v}{T}_{\text{V},i}(t) {O}_{i}(t).\end{split} $

式中：$ {O}_{i}(t)\in \{0,1\} $表示时刻$ t $任务是否被卸载，$ {O}_{i}(t)= 1 $表示卸载，$ {O}_{i}(t)=0 $表示不卸载；当$ i=0 $时任务被卸载至卫星节点，当$ i\in \{1,2,\cdots,u\} $时任务被卸载到RSU节点，当$ i\in \{u+1,u+2,\cdots, u+v\} $时任务被卸载到AV节点.

在RSU辅助的MEC系统中，任务缓存与计算节点选择是影响系统性能的关键. 对EUPPO算法进行优化，综合任务特性、预测结果及网络状态，实现任务卸载与缓存的动态协同调度，从而降低延迟并提升缓存命中率与资源利用效率.将该问题建模为以系统整体效用最大化为目标的0-1优化模型，在资源约束下动态优化卸载决策与缓存策略，以增强系统的适应性与响应性能.

该优化模型包含1个目标函数和一系列约束条件，共同定义了系统决策的边界和优化目标.

目标函数$ J $：通过提高缓存命中数$ Q(t) $和降低任务处理延迟$ T(t) $，系统可以最大化资源利用率与任务执行成功率. 权重系数$ \tau $决定了优化过程中任务缓存命中数与任务处理延迟两者的重要程度. 通过平衡这2项指标，从而获得合适的缓存和任务卸载策略，确保高效的任务处理. 目标函数$ J $的表达式如下：

(24)$ J(t)=\tau Q(t)-(1-\tau )T(t). $

在定义目标函数之后，须引入一系列约束，确保任务缓存和卸载决策在实际场景中的可行性，同时考虑任务的及时性、执行效率及系统资源的最佳利用. 具体约束定义如下.

C1（延迟约束）：系统总延迟$ T(t) $不能超过任务规定的延迟要求$ D $；否则，该任务被视为无效.

(25)$ T(t) \leqslant D. $

C2（缓存状态约束）：缓存状态$ {\varphi }_{y}{}_{(t)} $应属于有效状态集合，取值范围为

(26)$ {\varphi }_{y(t)}\in \{0,1,\cdots ,{u}+{v}\}. $

C3（卸载决策约束）：

(27)$ {O}_{i}(t)\in \{0,1\}. $

C4（缓存策略唯一性约束）：在每个时隙$ t $，对于任务$ \boldsymbol{{{y}}}(t) $的处理结果，如果在MEC系统内进行缓存，则在所有RSU中最多只能存在一个缓存副本.

(28)$ \sum \limits_{i=1}^{u}F({\varphi }_{(t)}=i) \leqslant 1. $

基于MDP对复杂决策问题进行建模. 将RSU在任务卸载与缓存管理中的动态资源分配问题建模为0-1优化模型，并将离散决策变量融入MDP的状态与动作空间中进行求解，从而在动态环境下实现实时性与资源利用率的平衡. MDP的基本要素包括状态空间、动作空间、转移函数、奖励函数及折扣因子.

在MDP框架下，MEC系统中的RSU在每个时隙$ t $观察当前状态$ s(t) $，根据该状态采取动作$ a(t) $，环境根据$ a(t) $返回奖励值$ r(t) $，同时将MEC系统状态更新为$ s(t+1) $. 状态空间、动作空间、奖励函数及其他基本要素的详细说明如下：

状态空间$ S $：状态空间定义了MEC系统在任意时刻所有可能状态的集合. 在时隙$ t $，系统状态$ s(t) $包含任务缓存状态、RSU资源分配及车辆请求等信息，表示为

(29)$ s(t)=\{\boldsymbol{{{y}}}(t),{c}_{{\mathrm{s}}}(t),\boldsymbol{H}(t),\boldsymbol{C}(t),G(t)\}. $

式中：$ \boldsymbol{{{y}}}(t)=\{{d}_{y(t)},{B}_{y(t)},{E}_{y(t)},{{{e}^{\prime}}}_{y(t)},{\omega }_{y(t)}\} $；$ {c}_{{\mathrm{s}}}(t) $表示剩余数据集，反映RSU当前可用的缓存空间容量.

动作空间$ A $：动作空间包含了DRL智能体在给定状态$ s(t) $下可执行的所有离散动作的集合. 在每个时隙$ t $，RSU根据观察到的状态$ s(t) $采取动作$ a(t) $. 该动作包含2个层面：1）决定是否将任务卸载到其他计算节点；2）决定是否缓存任务. 动作空间定义为

(30)$ a(t)=\{{O}_{i}(t),{\varphi }_{y(t)}\}. $

状态-动作映射关系：状态-动作映射由策略网络实现，用于将系统状态映射为具体决策动作. 智能体基于任务属性、资源状态及环境信息提取特征，评估各动作的预期效用并输出动作概率分布.训练阶段通过采样或$ \epsilon $-贪婪策略实现探索与利用的平衡，应用阶段则选择概率最大的动作以执行最优卸载与缓存决策.

奖励函数$ r(t) $：用于评估智能体的特定动作对系统性能的影响. 该函数通过权重因子$ \tau $平衡计算延迟与缓存命中数，定义为

(31)$ r(t)=\begin{cases} -\tau Q (t)+(1-\tau )T(t)， & 满足约束{\mathrm{C1}}\thicksim{\mathrm{C4}};\\-N， & 其他.\end{cases} $

式中：N为系统的惩罚值.

转移函数$ P(s'|s,a) $：表示智能体在当前状态$ s(t) $下执行动作$ a(t) $转移至下一状态$ s' $的概率，定义为

(32)$ P(s'|s,a)=P(s(t+1)={s}'|\textit{s}(t)=s,a(t)=a). $

折扣因子$ \gamma $：该因子用于平衡任务执行的即时奖励与长期收益. 通过调整$ \gamma $的取值，智能体能够在当前任务的即时完成率与长期系统优化性能之间进行侧重权衡，$ \gamma $的取值范围定义为

(33)$ 0 \leqslant \gamma \leqslant 1.0. $

式中：当$ \gamma $趋近于1.0时，系统更强调未来奖励; 当$ \gamma $趋近于0时，系统侧重于即时奖励.

在高度动态且不确定性强的车联网环境中，传统PPO算法由于裁剪参数固定且缺乏对环境不确定性的感知，难以在不同阶段有效平衡探索与利用. 提出EUPPO算法，通过综合网络带宽、任务复杂度及时延等因素动态调整探索强度，实现任务卸载与资源分配优化，从而提升资源利用率并降低系统延迟.

EUPPO网络以MEC系统主动感知的环境信息作为输入，通过策略网络$ {\pi }_{\theta }(a|s) $、价值网络$ {V}_{\phi }(s) $和经验回放缓冲区进行构建，网络输出为优化结果. 如图2所示，将策略网络的接收状态作为输入，经归一化处理后输出动作. 通过比较新旧策略并调整自适应裁剪参数，更新当前的价值网络. 策略网络在此基础上最小化损失函数，并更新模型参数$ {\theta }_{i} $. 在完成这些操作后，状态、动作和奖励会被存储到经验回放缓冲区中，用于下一次迭代训练.

通过价值网络$ {V}_{\phi }(s) $预测状态$ s(t) $，得到$ {V}_{\phi }(s(t)) $. 结合当前时隙的奖励函数$ r(t) $和下一个状态$ {V}_{\phi }(s(t+1)) $，计算优势函数$ A(t) $. 为了降低未来奖励对当前优势的过度影响，引入折扣因子$ \gamma $，$A(t) $的表达式如下：

(34)$ A(t)=r(t)+\gamma {V}_{\phi }(s(t+1))-{V}_{\phi }(s(t)). $

EUPPO通过PPO-Clip机制对策略更新进行裁剪，限制新旧策略的偏离幅度，从而提高训练稳定性并避免收敛不良的问题.

(35)$ {L}^{\text{clip}}=\text{min}\left\{{P}_{\text{a}} A,\text{clip}\left({P}_{\text{a}},1-\epsilon ,1+\epsilon \right)· A\right\}. $

式中：$ {P}_{\text{a}} $为当前策略与旧策略之间的比率，$ {P}_{\text{a}}= {\pi }_{\theta }/{\pi }_{{{\theta }_{\epsilon }}} $；$ \epsilon $为超参数.

EUPPO算法用于提升算法在动态车联网环境中的性能，核心机制如下.

1）不确定性感知探索. 针对传统PPO预设探索策略难以适应车联网高度动态性的问题，EUPPO引入基于熵的感知机制. 该机制通过计算动作概率分布的熵值量化当前状态的决策不确定性，并据此动态调整探索强度：在高熵值（低确定性）状态下自动增强探索以跳出局部最优，在低熵值状态下侧重利用现有的策略，使算法在复杂环境中兼顾决策的寻优能力与稳定性

2）自适应衰减裁剪参数$ \epsilon $机制. 针对传统PPO中固定裁剪参数可能导致的策略更新不足或过度波动问题，EUPPO引入裁剪参数的自适应衰减机制. 在训练初期，采用较大的裁剪参数$ {\epsilon }_{\text{ini}} $，以增强探索并加快策略更新，从而快速获得有效的策略并提高训练效率. 随着训练的进行，裁剪参数从初始值逐渐向目标值$ {\epsilon }_{\text{tar}} $衰减，限制更新幅度，降低策略崩溃风险，同时保持更新过程的稳定性. 该自适应衰减裁剪参数的数学定义如下：

(36)$ {\epsilon }_{\text{cur}}=\text{max}\left\{ {\epsilon }_{\text{tar}}\hslash,{\epsilon }_{\text{ini}}-\left({\epsilon }_{\text{ini}}-{\epsilon }_{\text{tar}}\right) \frac{b}{{b}_{\text{max}}}\hslash \right\} . $

式中：$ {\epsilon }_{\text{tar}} $和$ {\epsilon }_{\text{ini}} $分别为衰减后的目标裁剪参数值和初始裁剪参数值，$ b $为当前训练步数，$ {b}_{\text{max}} $为裁剪参数从初始值衰减到目标值所需的总训练步数，$ \hslash $为从均值为1、标准差为0.1的高斯分布中随机生成的因子. 引入$ \hslash $的目的是在裁剪参数的衰减过程中引入适度的随机扰动，以增强算法在训练后期的探索能力和跳出局部最优解的可能性. 将均值设为1，可以保证扰动不改变整体的衰减趋势；将标准差设为0.1，可以在提供一定随机性的同时避免参数波动过大，从而保持训练过程的稳定性.

3）L2正则化项的应用. 在复杂的车联网环境中，高维状态空间及动态数据易导致模型在训练过程中出现过拟合，从而影响泛化性能. L2正则化通过在损失函数中增加模型参数平方和的加权项$ {L}_{2} $，对过大的参数进行惩罚，促使模型学习到更小、更分散的权重，从而获得更加平滑且稳定的参数更新，有效抑制了模型对训练数据的过度拟合.

(37)$ {L}_{2}=\lambda \sum \limits_{i=1}^{N_\theta }\theta _{i}^{2}. $

式中：$ \lambda $为正则化系数，$ {\theta }_{i} $为模型参数，${N_\theta } $为模型参数的总个数.

构建并模拟RSU辅助的MEC系统，基于Python开发仿真环境. 为了更真实地模拟车联网的动态性，在仿真开始前，系统会执行预热阶段，使各类任务的流行度稳定至非零的初始状态.在仿真过程中，综合考虑传输延迟、计算负载及网络状况等关键参数. 具体的参数配置详见表1.

表1中的仿真参数设置用于模拟典型的车联网移动边缘计算环境，并参照该领域研究的通用设定和合理经验进行配置. 低轨卫星数量与RSU数量参考文献[18]设置，RSU与车辆计算速度范围参考文献[19]，以体现边缘节点与车载终端的异构计算能力. 传输延迟系数参考文献[20]，用于代表RSU-卫星、RSU-RSU及RSU-AV链路的差异. 缓存容量结合系统任务规模设为4 MB. 其余参数，如折扣因子、学习率、裁剪参数及GAE参数等，依据相关研究和预实验结果取值，以保证训练过程的稳定性与收敛性能^[21].

为了评估引入的各个模块对整体性能的影响，开展模块分析实验. 其中，算法①为在PPO基础上仅引入不确定性感知探索机制，②在①的基础上引入自适应裁剪参数，③在②上引入L2正则化项，④为传统PPO算法. 实验结果如表2所示，随着模块的逐步引入，模型的各项指标均稳步提升. 仅引入不确定性感知探索机制的配置相较于传统PPO在缓存命中数上提升了6.5%. 在引入自适应clip参数后，缓存命中率提升至0.72，奖励值达到1 739，显示出clip参数对改善训练过程的积极作用. 在此基础上加入L2正则项，虽然在最终性能指标上的提升相对有限，但在训练过程中表现出更快的收敛速度.

图3展示了在不同$ \tau $下，奖励、计算延迟及缓存命中数3个目标函数的变化趋势. 其中，$ n $为回合，$ R $为奖励，T为计算延迟. 图3(a)中，奖励目标函数通过对每个训练回合内所有时隙的奖励值进行累加来计算. 较大的$ \tau $使奖励目标函数的收敛速度更快，且最终的累积奖励值稳定在更高水平. 可知，$ \tau $越大，算法越重视对奖励的优化.

图3(b)中，$ T $由每个训练回合中所有时隙的延迟值累加获得. 随着$ \tau $的增大，该目标函数的收敛过程表现出更高的稳定性.当$ \tau =0.99 $时，计算延迟收敛速度较慢，并稳定在较低数值. 可知，当$ \tau $较大时，算法更倾向于提升缓存命中数，而计算延迟的优化效果相对减弱，反映出计算延迟与缓存命中数之间存在一定的权衡关系.

如图3(c)所示为$ Q $的变化趋势，该目标由每个训练回合中所有时隙的命中数累加得到. 随着$ \tau $的增大，命中数的收敛速度明显提升；当$ \tau =0.99 $时，命中数迅速达到并稳定在较高水平. 可知，当$ \tau $较大时，算法更倾向于优化缓存命中数，从而实现缓存命中数快速提升.

由于计算延迟与缓存命中数在数值上存在差异，在后续实验中，将$ \tau $固定为0.99，以在奖励、计算延迟和缓存命中数之间实现更均衡的优化效果.

以车辆请求响应率作为主要性能指标，用于评估系统在处理车辆任务的整体响应能力. 如图4(a)、(b)所示，RSU的缓存容量M及D对响应率均有影响. 其中，$ {F}_{\text{rate}} $为车辆请求响应率. 从图4(a)可知，较大的缓存容量能够明显提升响应率. 原因在于更充足的缓存容量可容纳更多的任务，从而增强系统对车辆请求的响应能力. 从图4(b)可知，延长任务截止时间有助于提高响应率，而过短的截止时间可能导致任务无法及时完成，从而降低系统整体响应能力.

为了对比不同缓存策略的性能，默认缓存容量为4 MB. 在此容量下，每个RSU可以同时缓存约8个任务，同时系统仍能维持约70%的车辆请求响应率.

在分析缓存容量和任务截止时间对响应率作用的基础上，进一步对比了多种缓存策略的性能差异. 如图5所示，在不同缓存大小下，对EU-Hawkes、Hawkes、LFU和LRU 4种缓存策略的缓存命中率进行评估. 其中，$ P_{\mathrm{c}} $为缓存命中率. 随着缓存容量的增加，缓存命中率逐渐提高. 在所有测试的缓存大小中，EU-Hawkes相较于其他策略，始终能够实现最高的缓存命中率.

这一优势源于EU-Hawkes融合了任务需求预测与自激特性，能够更好地刻画动态环境. Hawkes在处理不确定性因素方面存在不足，LFU和LRU未能反映需求的动态变化，因而性能较低.

对改进型缓存模型EU-Hawkes及改进算法EUPPO在MEC环境下的性能进行评估，分析学习率对平均回合奖励的影响. 如图6所示，平均奖励随着学习率的增大而提高. 其中，$ \alpha $为学习率，$ \overline{R} $为平均回合奖励. 较高的学习率能够使算法更快地适应环境反馈，从而提升任务执行效率.

EUPPO表现最优，当学习率为0.99时获得最高平均奖励. EUPPO算法的性能提升源于不确定性感知探索与自适应参数调节机制，使其在动态环境中具备更好的稳定性与适应性.与 MADDPG、PPO及当前最优的PPO-MAX相比，EUPPO在各项指标上均表现更优，因此后续实验将学习率固定为0.99.

如图7所示为不同算法在每100个回合下的平均奖励变化趋势. 结果显示，EUPPO的收敛速度更快，并在约200个回合后稳定于约1 700，整体性能优于所有的对比算法. 与PPO-MAX相比，稳定奖励提升了6.8%. 与原始PPO相比，总奖励提升了15.1%，验证了所提方法的有效性.

由于PPO-MAX较PPO、MADDPG和DDQN表现更优，后续实验重点对比PPO-MAX与EUPPO算法，以验证所提方法的性能优势.

如图8所示为延迟目标值与车辆缓存命中数的对比实验结果. 图8(a)中，EUPPO算法在前50个回合内可以显著降低任务处理延迟并趋于稳定，PPO-MAX算法需要约300个回合，表明EUPPO早期适应能力更强. 图8(b)中，EUPPO持续维持较高的命中数，并在收敛速度上明显优于PPO-MAX；PPO-MAX不仅收敛速度较慢，而且命中数相对偏低. 这进一步体现了EUPPO在缓存优化上的优势.

如图9所示，EUPPO在训练早期即可实现奖励的快速收敛并保持高位，整体性能优于PPO-MAX. EUPPO的优势与较高的缓存命中数相关，从而提升了任务执行效率；PPO-MAX收敛较慢且奖励较低，反映PPO-MAX在动态环境中的适应性及资源优化能力存在不足.

针对MEC环境下的车联网任务卸载与资源分配问题，提出基于RSU协同的联合优化方法.通过将任务卸载与资源分配建模为0-1优化问题并转化为马尔可夫决策过程，结合改进的EUPPO算法进行求解，引入融合不确定性因素的EU-Hawkes模型实现任务需求预测与缓存优化，从而提升系统的整体决策能力. 仿真结果表明，采用所提方法，在动态车联网场景下能够有效地降低任务处理延迟并提高响应率，整体性能优于对比算法. 实际部署时可能受到通信不稳定、资源受限及车辆高动态移动等因素影响. 未来将进一步研究多模态数据融合、多智能体强化学习及安全隐私机制，提升方法的鲁棒性与实用性.