强化学习(reinforcement learning, RL)在解决序列决策问题方面取得了显著成就，被广泛应用于机器人控制^[1]、游戏博弈轨迹规划^[2]以及复杂系统调度等领域^[3]. 随着应用场景的日趋复杂，离散状态空间常呈现指数级扩张，导致状态数量急剧增加. 面对海量的状态，直接学习价值函数或策略不仅计算代价高昂，而且难以收敛^[4-6]. 为了应对这一挑战，状态抽象技术^[7-10]应运而生. 该技术旨在通过将原始庞大的状态空间映射到维度缩减的潜在空间，在保留关键决策信息的同时去除冗余细节，从而显著降低计算复杂度并提升样本效率. 如何构建既能有效压缩状态数量，又能保证策略最优性的抽象映射，是当前大规模强化学习研究的核心挑战.

在现有方法中，基于启发式或聚类的状态聚合方法^[11-12]较典型，主要依据特征相似性对状态进行划分. 这类方法本质上属于有损抽象，因忽略了马尔可夫决策过程（MDP）底层的转移概率、奖励函数这些动力学结构^[13]，易引发“状态混淆”^[14]问题. 这使得在抽象空间中学习的策略在被还原至原始空间时，无法保证性能一致性，从而限制了该类方法在复杂任务中的应用^[15].

为了克服上述结构性偏差，基于MDP同态（homomorphism）理论^[16]的抽象方法逐渐受到关注. 这类方法通过严格的代数约束保持动力学一致性，但在实际应用中往往难以满足精确转移所需的严苛条件^[17]. 近期，同态马尔可夫链（HMC）框架^[18]通过线性约束证明在更弱条件下仍可满足策略等价性，并由此衍生出基于最小二乘投影的近似聚合方法（如EBHPG）^[19]. EBHPG算法依赖于编码矩阵的伪逆运算^[20]，在大规模或稀疏空间下易出现数值病态，这导致投影误差失控以及性能下界偏松，并在复杂拓扑任务中表现出显著的收敛不稳定性^[21].

针对伪逆带来的数值不稳定性与结构保持需求之间的矛盾，本文提出基于正交投影算子的同态状态抽象框架. 通过在编码矩阵中引入正交规范化约束，避免了传统伪逆运算所伴随的病态问题，从而获得了更加稳定、几何性质更优的线性投影形式. 推导出紧致且可计算的策略性能下界，该下界刻画了抽象映射与策略性能之间的关系. 基于策略性能下界，设计同态策略梯度算法，并通过实验验证了该算法的有效性.

考虑一个无限时间视界的马尔可夫决策过程(MDP)，定义为$ {{M}}_{S}=(S,A,{\boldsymbol{P}}_{SA},\gamma ,r) $，其中$ {S} $和$ {A} $分别表示离散状态空间和动作空间. $ {\boldsymbol{P}}_{SA}\colon S\times A\rightarrow \varDelta ({S}) $为状态转移矩阵（$\varDelta ({S}) $为S上所有可能概率分布的集合）； $ r\colon S\times A\rightarrow {R} $为奖励函数；$ \gamma \in (0,1.0) $为折扣因子.

给定一个基础MDP和一个策略$ \pi \in {\varPi }_{\textit{S}} $，状态转移过程会导出一个马尔可夫链$ {M}_{S}^{\pi }=(S,\boldsymbol{P}_{S}^{\pi },\gamma ,\boldsymbol{R}_{S}^{\pi }) $. 其中$ {\boldsymbol{P}}_{{S}}^{\pi } $为策略$ \pi $的状态转移矩阵；$ \boldsymbol{R}_{{S}}^{\pi }\in {{R}}^{|{S}|} $为期望即时奖励列向量，其元素定义为$ {R}_{S}^{\pi }(s)=\displaystyle \sum \nolimits_{a\in A}\pi (a\mid s)r(s,a) $.

状态价值函数$ {\boldsymbol{V}}_{{S}}^{\pi }\in {{R}}^{|{S}|} $为每个状态赋予在策略$ \pi $下的期望折扣回报，满足贝尔曼方程：

(1)$ V_{S}^{\pi }(s)=\sum \limits_{a\in A}\pi (a\mid s)\left[r(s,a)+\gamma \sum \limits_{\overline{s}\in S}{{P}}_{SA}(\overline{s}\mid s,a)V_{S}^{\pi }(\overline{s})\right] . $

该方程可以用向量形式表示为

(2)$ \boldsymbol{V}_{S}^{\pi }=\boldsymbol{R}_{S}^{\pi }+\gamma \boldsymbol{P}_{S}^{\pi }\boldsymbol{V}_{S}^{\pi }={(\boldsymbol{I}-\gamma {\boldsymbol{P}_{S}^{\pi }})}^{-1}\boldsymbol{R}_{S}^{\pi }. $

类似地，状态-动作价值函数$ Q_{S}^{\pi }\colon S\times A\rightarrow {R} $满足贝尔曼方程：

(3)$ Q_{S}^{\pi }(s,a)=r(s,a)+\gamma \sum \limits_{\overline{s}\in S}{{P}}_{SA}(\overline{s}\mid s,a)V_{S}^{\pi }(\overline{s}) . $

2个函数之间的进一步联系由下式表达：

(4)$ V_{S}^{\pi }(s)=\sum \limits_{a\in A}\pi (a\mid s)Q_{S}^{\pi }(s,a) . $

通常，给定一个MDP，可以定义一个性能函数$ {J}_{{S}}(\pi )={{E}}_{{{s}_{0}}\sim {{{\boldsymbol{\xi}} }_{{S}}}}[V_{{S}}^{\pi }({s}_{0})]={\boldsymbol{\xi}} _{{S}}^{{\mathrm{T}} }{\boldsymbol{V}}_{{S}}^{\pi } $来评估策略的优劣，其中$ {{\boldsymbol{\xi}} }_{{S}} $是初始状态分布.

在MDP的语境中，同态定义了从基础MDP到简化抽象MDP的结构保持映射，该映射通过聚合在转移动态和奖励方面表现出等价行为的状态-动作对^[22]来实现. 更具体地，给定一个基础MDP到一个抽象MDP的同态由一对满射映射定义：$ e( S \rightarrow {S}^{\prime} )$和$ {g}_{s}( A \rightarrow {A}^{\prime}) $，诱导出$ h(s,a) = (e(s),{g}_{s}(a)) $. 如果对于所有$ {s}^{\prime}\in S $和所有$ (s,a)\in S\times A $，

(5)$ {{P}}_{{{S}^{\prime}}{{A}^{\prime}}}(e({s}^{\prime}),\mid e(s),{g}_{s}(a))=\sum \limits_{{s}^{\prime\prime}\in {[{{s}^{\prime}}]}_{e}}{{P}}_{SA}({s}^{\prime\prime}\mid s,a), $

(6)$ {r}^{\prime}(e(s),{g}_{s}(a))=r(s,a) , $

则映射$ h $构成一个有效的MDP同态. 其中$ {[{{s}^{\prime}}]}_{e}= \{{s}^{\prime\prime}\in S\mid e({s}^{\prime\prime})=e({s}^{\prime})\}| $表示在映射$ e $下的状态等价类. 该定义确保了MDP同态的聚合一致性，从而保持原始MDP的价值结构，使抽象空间的最优策略可以无损提升至基础空间. 同理可以定义同态马尔可夫链，但二者侧重点不同.

同态马尔可夫链　设$ {M}_{S}^{\pi } $为由基础MDP在策略$ \pi $下诱导的基础马尔可夫链. 对于抽象状态空间$ U $的编码分布$ \nu (s|u) $，定义编码矩阵$ {\boldsymbol{P}}_{\nu }\in {{R}}^{|U|\times |S|} $，行向量对应$ \boldsymbol{\nu }(\cdot |u) $. 在抽象策略$ \mu \in {\varPi }_{U} $下，若抽象马尔可夫链$ {M}_{U}^{\mu }=(U,\boldsymbol{P}_{U}^{\mu },\gamma ,\boldsymbol{R}_{U}^{\pi ,\nu }) $满足

(7)$ \boldsymbol{P}_{U}^{\mu }{\boldsymbol{P}}_{\nu }={\boldsymbol{P}}_{\nu }\boldsymbol{P}_{S}^{\pi } , $

(8)$ \boldsymbol{R}_{U}^{\pi ,\nu }={\boldsymbol{P}}_{\nu }\boldsymbol{R}_{S}^{\pi } . $

则称$M_U^{\mu} $为$ {M}_{S}^{\pi } $的一个同态马尔可夫链.

引理1：若抽象马尔可夫链$ {M}_{U}^{\mu } $是基础马尔可夫链$ {M}_{S}^{\pi } $的同态马尔可夫链，则它们的价值函数满足以下关系：

(9)$ \boldsymbol{V}_{U}^{\mu }={\boldsymbol{P}}_{v}\boldsymbol{V}_{S}^{\pi } . $

该引理可以根据文献[23]进行证明.

引理1建立同态马尔可夫链与基态马尔可夫链在价值函数上的线性关系，据此，记$ {\varPi }_{S} $和$ {\varPi }_{U} $分别为基态空间与抽象状态空间上的策略集合，进一步定义同态映射.

同态映射 给定一个MDP $ {{M}}_{S} $和一个任意的编码分布$ \nu $,若映射$ {f}_{\nu }( {\varPi }_{S}\rightarrow {\varPi }_{U} )$对于每个$ \pi \in {\varPi }_{{S}} $都满足其对应的抽象马尔可夫链$ {M}_{U}^{{f}_{\nu }(\pi )} $是$ {M}_{S}^{\pi } $的同态马尔可夫链，则称该映射为同态映射.

引理2　给定一个MDP$ {{M}}_{S} $和一个编码矩阵$ {\boldsymbol{P}}_{\nu } $，若存在满射同态映射$ {f}_{\nu }( {\varPi }_{{S}}\rightarrow {\varPi }_{U}) $，则$ {\varPi }_{U} $中$ {f}_{\nu }({\pi }^{*}) $是最优策略，其中$ {\pi }^{*} $是$ {{M}}_{S} $中的最优策略，反之亦然. 此外，给定一个满足${ \boldsymbol{\xi }}_{S}^{{\mathrm{T}} }={\boldsymbol{\xi }}_{U}^{{\mathrm{T}} }{\boldsymbol{P}}_{\nu } $的抽象状态分布$ {{\boldsymbol{\xi}} }_{U} $，对于任意$ \pi \in {\varPi }_{S} $，抽象策略的性能与基础策略的性能一致，即

(10)$ {J}_{U}({f}_{\nu }(\pi ))={J}_{S}(\pi ) . $

提出最优策略等价性的定义，这一概念与最优耦合存在一定的关联^[24].

最优策略等价性 给定一个有限的抽象状态空间$ U $. 设$ \mathcal{E}= \{{M}_{S}^{\pi }\colon \pi \in {\varPi }_{S}\} $表示由基础策略空间$ {\varPi }_{{S}} $中所有策略$ \pi $诱导的基础马尔可夫链的集合，并设$ {Q}=\{{M}_{U}^{f_v(\pi )}\colon \pi \in {\varPi }_{S}\} $为相应的抽象马尔可夫链集合. 最优策略等价性的概念要求如下：对于任意最优策略$ {\pi }^{*}\in {\varPi }_{S} $(其关联的最优价值函数属于$ \mathcal{E} $)，映射后的策略$ f_v({\pi }^{*}) $在$ {Q} $空间的价值函数下也必须是最优的；反之，则$ {Q} $空间中的最优策略必须在逆映射下对应$ \mathcal{E} $空间中的最优策略.

根据引理2可知，只要$ \boldsymbol{\xi }_{S}^{{\mathrm{T}} } $位于$ {\boldsymbol{P}}_{\nu } $的行空间中， 即可满足分布一致性条件$ \boldsymbol{\xi }_{S}^{{\mathrm{T}} }=\boldsymbol{\xi }_{U}^{{\mathrm{T}} }{\boldsymbol{P}}_{\nu } $. $ {\boldsymbol{V}}_{S}^{{\pi }^{*}}\geqslant {\boldsymbol{V}}_{S}^{\pi } $对所有状态成立，初始分布不影响最优策略选择，因此该条件在行空间包含关系下自然满足.

满足最优策略等价性的充分条件　对于状态空间$ S $和动作空间$ A $的基础MDP，定义基本的转移向量为

$ {\boldsymbol{\alpha }}_{i,j}: ={{{\boldsymbol{P}}}}_{SA}(\cdot |{s}_{i},{a}_{j})\in {{R}}^{|S|},\;{s}_{i}\in S,\;{a}_{j}\in A{.} $

令$ {F} = \{{\alpha }^{(1)},{\alpha }^{(2)},\cdots ,{\alpha }^{(r)}\} $表示集合$ \{{\alpha }_{i,j}\colon \forall {s}_{i} \in S, {a}_{j}\in A\} $的最大线性无关子集，其中$ r=\text{rank}\;{{\boldsymbol{\alpha}} }\leqslant |S| $.

引理3　给定一个基础MDP和编码矩阵$ {\boldsymbol{P}}_{\nu } $，当$ {\boldsymbol{P}}_{\nu } $的行空间包含$ {F} $的张成空间时，同态映射$ {f}_{\nu } $存在，或者说存在$ {f}_{\nu } $使得基础马尔可夫链集合与其对应的抽象马尔可夫链集合满足最优策略等价性. 为了简洁起见，称$ {f}_{\nu } $满足最优策略等价性.

传统的同态MDP框架因依赖显式聚合函数，在大规模空间下构造困难且计算开销巨大. 相比之下，参数化同态马尔可夫链（HMC）通过学习编码矩阵实现抽象，具备更优的扩展性. 现有的HMC方法常利用伪逆运算$ \boldsymbol{P}_{\nu }^{\dagger } $求取投影，易导致数值不稳定及误差累积.

提出对编码矩阵$ {\boldsymbol{P}}_{\nu } $施加正交性约束条件$ {\boldsymbol{P}}_{\nu }\boldsymbol{P}_{\nu }^{\rm{T}} =\boldsymbol{I} $，旨在规避显式求逆操作并提高计算稳定性. 分析正交化投影的误差上界，并推导得到相应的策略梯度方向，为HMC框架的端到端优化提供了理论依据.

Zhao等^[19]引入编码马尔可夫链的概念，旨在对同态映射中的逼近误差进行系统性表征. 将原始条件式$ \boldsymbol{P}_{U}^{\mu }{\boldsymbol{P}}_{\nu }={\boldsymbol{P}}_{\nu }\boldsymbol{P}_{S}^{\pi } $定义为理想的同态约束，并利用最小二乘投影算子对该同态约束进行近似求解，导出并分析具有物理意义的可解释建模误差，对同态映射中的逼近误差进行系统刻画.

为了形式化描述这种误差，Zhao等^[19]给出编码马尔可夫链存在的充分必要条件：当编码矩阵$ {\boldsymbol{P}}_{\nu } $的行空间包含特征空间$ {F} $的张成空间时，对应的同态映射$ {f}_{\nu } $存在. 对于任意策略$ \pi \in {\varPi }_{S} $，可以构建与基础MDP同态等价的编码MDP，同态映射矩阵可以表示为$ {\boldsymbol{C}}^{\pi }=\boldsymbol{P}_{S}^{\pi }\boldsymbol{P}_{\nu }^{\dagger } $.

定义5　编码马尔可夫链　给定基础MDP$ {{M}}_{S} $、编码矩阵$ {\boldsymbol{P}}_{\nu } $、矩阵$ {\boldsymbol{C}}^{\pi }\in {{R}}^{|U|\times |S|} $以及策略$ \pi \in {\varPi }_{S} $，定义编码马尔可夫链$ \widehat{{M}}_{S,\nu }^{\pi }=\left(S,{\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu },\boldsymbol{P }_{S}^{\pi },\gamma \right) $，其中$ {\boldsymbol{C}}^{\pi }=\boldsymbol{P}_{S}^{\pi }\boldsymbol{P}_{\nu }^{\dagger } $，且$ \boldsymbol{P}_{\nu }^{\dagger }=\boldsymbol{P}_{\nu }^{\rm{T}} {({{\boldsymbol{P}}_{\nu }}{\boldsymbol{P}_{\nu }^{\rm{T}} })}^{-1} $是$ {\boldsymbol{P}}_{\nu } $的Moore-Penrose伪逆. 由该编码马尔可夫链诱导的同态马尔可夫链记为$ {M}_{U}^{{f}_{\nu }(\pi )}=\left(U,{\boldsymbol{P}}_{\nu }{\boldsymbol{C}}^{\pi },\gamma ,\boldsymbol{R}_{S}^{\pi ,\nu }\right) $，价值函数记为$ {\boldsymbol{V}}_{U}^{{f}_{\nu }(\pi )} $. 将$ \widehat{{M}}_{S,\nu }^{\pi } $的价值函数记为$ \widehat{{\boldsymbol{V}}}_{{S},\nu }^{\pi } $，满足$ {\boldsymbol{V}}_{U}^{{f}_{\nu }(\pi )}= {\boldsymbol{P}}_{\nu }\hat{{\boldsymbol{V}}}_{S,\nu }^{\pi } $. 不同马尔可夫链之间的关系如图1所示.

在实际的数值计算中，使用伪逆运算$ \boldsymbol{P}_{\nu }^{\dagger } $存在显著局限性. 特别是当矩阵呈现病态特征时，伪逆运算极易引发数值不稳定性，导致计算开销增加及误差严重累积. 为了应对上述挑战，提出改进的表征方式，通过引入正交规范约束来设计编码矩阵$ {\boldsymbol{P}}_{\nu } $，规避了复杂的伪逆运算，提升了算法的稳健性.

引理4(正交规范行的矩阵表征)：设$ \boldsymbol{W} $是$ m\times n $的实矩阵，行向量为$ \boldsymbol{r}_{1}^{{\mathrm{T}} },\boldsymbol{r}_{2}^{\rm{T}} ,\cdots, \boldsymbol{r}_{m}^{\rm{T}} $，其中$ {\boldsymbol{r}}_{i}\in {{R}}^{n} $，矩阵$ \boldsymbol{W} $满足$ \boldsymbol{W}{\boldsymbol{W}}^{\rm{T}} ={\boldsymbol{I}}_{m} $($ {\boldsymbol{I}}_{m} $为$ m\times m $单位矩阵)的充分必要条件是$ {\boldsymbol{W}} $的行向量$ \boldsymbol{r}_{1}^{\rm{T}} ,\boldsymbol{r}_{2}^{\rm{T}} , \cdots , \boldsymbol{r}_{m}^{\rm{T}} $构成一个正交规范集. 根据引理4，可以得到新的$ {\boldsymbol{C}}^{\pi } $为

$ {\boldsymbol{C}}^{\pi }=\boldsymbol{P}_{S}^{\pi }\boldsymbol{P}_{\nu }^{\rm{T}} {({{\boldsymbol{P}}_{\nu }}{\boldsymbol{P}_{\nu }^{\rm{T}} })}^{-1}=\boldsymbol{P}_{S}^{\pi }\boldsymbol{P}_{\nu }^{\rm{T}} . $

C^π避免了伪逆运算，利用正交投影特征提升了数值稳定性. 假设存在初始状态分布$ {\boldsymbol{\xi }}_{U} $，满足$ \boldsymbol{\xi }_{S}^{\rm{T}} =\boldsymbol{\xi }_{U}^{\rm{T}} {\boldsymbol{P}}_{\nu } $，基础MDP中策略性能的下界满足

(11)$ {J}_{{S}}(\tilde{\pi })\geqslant {J}_{U}\left({f}_{v}(\tilde{\pi })\right)-\frac{\gamma \| {\boldsymbol{g}}(\tilde{\pi },\nu )\| }{1-\gamma } . $

式中：${\gamma \| {\boldsymbol{g}}(\tilde{\pi },\nu )\| }/({1-\gamma }) $表示基础MDP中策略$ \pi $与其在抽象空间中的映射$ f(\pi ) $之间的性能差异的上界，

$\dfrac{\gamma \| {\boldsymbol{g}}(\tilde{\pi },\nu )\| }{1-\gamma }=\dfrac{\gamma ||{\boldsymbol{P}}_{\nu }\boldsymbol{P}_{S}^{\pi }\hat{{\boldsymbol{V}}}_{S,\nu }^{\pi }-\boldsymbol{P}_{U}^{{f}_{\nu }(\pi )}{\boldsymbol{V}}_{U}^{{f}_{\nu }(\pi )}||}{1-\gamma }.$

定理1　策略优化下界定理

证明：

令$ \tilde{\pi }=\arg {\max }_{\pi }\left[{J}_{U}\left({f}_{\nu }(\pi )\right)-{g}^{\prime}(\pi ,\nu )\right] $，其中

$g'(\pi ,\nu )= \dfrac{\gamma ||{\boldsymbol{P}}_{\nu }\boldsymbol{P}_{{S}}^{\pi }\hat{{\boldsymbol{V}}}_{{S},\nu }^{\pi }-\boldsymbol{P}_{U}^{{f}_{\nu }(\pi )}{\boldsymbol{V}}_{U}^{{f}_{\nu }(\pi )}||}{1-\gamma } ，$

相应的真实性能下界为

(12)$ {J}_{{S}}(\tilde{\pi })\geqslant {J}_{U}({f}_{\nu }(\tilde{\pi }))-{g}^{\prime}(\tilde{\pi },\nu ) . $

根据矩阵分析中的诺伊曼级数性质可知，对于贝尔曼方程$ \boldsymbol{P}_{S}^{\pi }\boldsymbol{V}_{S}^{\pi }=\left(\boldsymbol{V}_{S}^{\pi }-\boldsymbol{R}_{S}^{\pi }\right) /{\gamma }$，可以将贝尔曼方程整理为$ \left(\boldsymbol{I}-\gamma \boldsymbol{P}_{S}^{\pi }\right)\boldsymbol{V}_{S}^{\pi }=\boldsymbol{R}_{S}^{\pi } $.

结合上述理论，对于式(12)的证明如下：

(13)$ \begin{split}& |{J}_{S}(\pi )-{J}_{U}\left({f}_{\nu }(\pi )\right)|=\\&\qquad\left|\left|\boldsymbol{\xi }_{S}^{\rm{T}} \boldsymbol{V}_{S}^{\pi }-\boldsymbol{\xi }_{U}^{\rm{T}} {\hat{\boldsymbol{V}}}_{U}^{{f}_{\nu }(\pi )}\right|\right|=\left|\left|\boldsymbol{\xi }_{S}^{{\mathrm{T}} }\boldsymbol{V}_{S}^{\pi }-\boldsymbol{\xi }_{U}^{\rm{T}} {\boldsymbol{P}}_{\nu }{\hat{\boldsymbol{V}}}_{S,\nu }^{\pi }\right|\right|=\\&\qquad\left|\left|\boldsymbol{\xi }_{S}^{\rm{T}} \left[{\left(\boldsymbol{I}-\gamma \boldsymbol{P}_{S}^{\pi }\right)}^{-1}-{\left(\boldsymbol{I}-\gamma {\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu }\right)}^{-1}\right]\boldsymbol{R}_{S}^{\pi }\right|\right|,\end{split} $

若矩阵$ (\boldsymbol{I}-\boldsymbol{A}) $和$ (\boldsymbol{I}-\boldsymbol{B}) $可逆，则有

(14)$ \begin{split} &(\boldsymbol{I}-\boldsymbol{A})^{-1}(\boldsymbol{A}-\boldsymbol{B})(\boldsymbol{I}-\boldsymbol{B})^{-1}=\\&\qquad(\boldsymbol{I}-\boldsymbol{A})^{-1}[(\boldsymbol{A }-\boldsymbol{I})+(\boldsymbol{I}-\boldsymbol{B})](\boldsymbol{I}-\boldsymbol{B})^{-1}=\\&\qquad(\boldsymbol{I}-\boldsymbol{A})^{-1}-(\boldsymbol{I}-\boldsymbol{B})^{-1}.\end{split} $

将式(13)代入式(12)，可得

$ \begin{split}& |{J}_{S}(\pi )-{J}_{U}\left({f}_{\nu }(\pi )\right)|=\\&\left|\left|\boldsymbol{\xi }_{S}^{\rm{T}} {\left(\boldsymbol{I}-\gamma \boldsymbol{P}_{S}^{\pi }\right)}^{-1}\gamma \left(\boldsymbol{P}_{S}^{\pi }-{\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu }\right){\left(\boldsymbol{I}-\gamma {\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu }\right)}^{-1}\boldsymbol{R}_{S}^{\pi }\right|\right|=\\&\gamma \left|\left|\boldsymbol{\xi }_{U}^{\rm{T}} {\boldsymbol{P}}_{\nu }\sum \limits_{k=0}^{\mathrm{\infty }}{\left(\gamma \boldsymbol{P}_{S}^{\pi }\right)}^{k}\left(\boldsymbol{P}_{S}^{\pi }-{\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu }\right){\left(\boldsymbol{I}-\gamma {\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu }\right)}^{-1}\boldsymbol{R}_{S}^{\pi }\right|\right|=\end{split} $

(15)$ \begin{split}&\gamma \left|\left|\boldsymbol{\xi }_{U}^{{\mathrm{T}} }\sum \limits_{k=0}^{\mathrm{\infty }}{\left(\gamma \boldsymbol{P}_{U}^{f(\pi )}\right)}^{k}{\boldsymbol{P}}_{\nu }\left(\boldsymbol{P}_{S}^{\pi }-{\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu }\right){\left(\boldsymbol{I}-\gamma {\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu }\right)}^{-1}\boldsymbol{R}_{S}^{\pi }\right|\right|\leqslant \\&\gamma \left|\left|\boldsymbol{\xi }_{U}^{{\mathrm{T}} }\sum \limits_{k=0}^{\mathrm{\infty }}{\left(\gamma \boldsymbol{P}_{U}^{f(\pi )}\right)}^{k}\right|\right|\left|\left|{\boldsymbol{P}}_{\nu }\left(\boldsymbol{P}_{S}^{\pi }-{\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu }\right){\hat{\boldsymbol{V}}}_{S,\nu }^{\pi }\right|\right|.\\[-1pt]\end{split} $

式（15）可以由余弦定理推得. 对于式（15）的右端项，有

(16)$ \left|\left|\boldsymbol{\xi }_{U}^{\rm{T}} \sum \limits_{k=0}^{\mathrm{\infty }}{\left(\gamma \boldsymbol{P}_{U}^{f(\pi )}\right)}^{k}\right|\right|\leqslant \underset{T\rightarrow \mathrm{\infty }}{\lim }\sum \limits_{t=0}^{T}{\gamma }^{t}\left|\left|\boldsymbol{\xi }_{U}^{{\mathrm{T}} }{\left(\boldsymbol{P}_{U}^{f(\pi )}\right)}^{t}\right|\right|. $

对于任意的概率向量$ \boldsymbol{x} $，均有$ ||\boldsymbol{x}||\leqslant 1 $，因此可得

(17)$ \begin{split}& \left|\left|{J}_{S}(\pi )-{J}_{U}\left({f}_{\nu }(\pi )\right)\right|\right|\leqslant \left(\underset{T\rightarrow \mathrm{\infty }}{\lim }\sum \limits_{t=0}^{T}{\gamma }^{t}\right)\times \\&\qquad\gamma \left|\left|{\boldsymbol{P}}_{\nu }\left(\boldsymbol{P}_{S}^{\pi }-{\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu }\right){\hat{\boldsymbol{V}}}_{S,\nu }^{\pi }\right|\right|=\\&\qquad\frac{\gamma }{1-\gamma }||{\boldsymbol{P}}_{\nu }\left(\boldsymbol{P}_{S}^{\pi }-{\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu }\right){\hat{\boldsymbol{V}}}_{S,\nu }^{\pi }||.\end{split} $

根据价值函数的定义，可得

(18)$ \begin{split}&{\boldsymbol{P}}_{\nu }{\boldsymbol{C}}^{\pi }{\boldsymbol{P}}_{\nu }{\hat{\boldsymbol{V}}}_{S,\nu }^{\pi }={\boldsymbol{P}}_{\nu }\boldsymbol{P}_{S}^{\pi }\boldsymbol{P}_{\nu }^{\rm{T}} {\boldsymbol{P}}_{\nu }{\hat{\boldsymbol{V}}}_{S,\nu }^{\pi }=\\&\qquad\boldsymbol{P}_{U}^{{f}_{\nu }(\pi )}{\boldsymbol{P}}_{\nu }\boldsymbol{P}_{\nu }^{\rm{T}} \boldsymbol{V}_{U}^{{f}_{\nu }(\pi )}=\boldsymbol{P}_{U}^{{f}_{\nu }(\pi )}\boldsymbol{V}_{U}^{{f}_{\nu }(\pi )},\end{split} $

则

(19)$ \begin{split}& \left|{J}_{S}(\pi )-{J}_{U}\left({f}_{\nu }(\pi )\right)\right|\leqslant \frac{\gamma ||{\boldsymbol{P}}_{\nu }\boldsymbol{P}_{S}^{\pi }{\hat{\boldsymbol{V}}}_{S,\nu }^{\pi }-\boldsymbol{P}_{U}^{{f}_{\nu }(\pi )}\boldsymbol{V}_{U}^{{f}_{\nu }(\pi )}||}{1-\gamma }\leqslant\\&\qquad \frac{\gamma ||{\boldsymbol{g}}(\tilde{\pi },\nu )||}{1-\gamma }.\\[-1pt]\end{split} $

根据式（19）和三角不等式，可得

(20)$ \begin{split}{J}_{{S}}(\tilde{\pi })=&{J}_{{S}}(\tilde{\pi })+{J}_{U}({f}_{\nu }(\tilde{\pi }))-{J}_{U}({f}_{\nu }(\tilde{\pi }))\geqslant\\& {J}_{U}({f}_{\nu }(\tilde{\pi }))-|{J}_{{S}}(\tilde{\pi })-{J}_{U}({f}_{\nu }(\tilde{\pi }))|\geqslant\\& {J}_{U}({f}_{\nu }(\tilde{\pi }))-\frac{\gamma ||{\boldsymbol{g}}(\tilde{\pi },\nu )||}{1-\gamma }.\end{split} $

证毕.

定理1指出，在给定编码矩阵的前提下，基础马尔可夫链与编码马尔可夫链之间的价值函数误差存在上界，该上界为$ {\gamma ||{\boldsymbol{g}}(\tilde{\pi },\nu )||}/{(1-\gamma )} $. 此外， $ {J}_{U}({f}_{\nu }(\tilde{\pi }))- {\gamma ||{\boldsymbol{g}}(\tilde{\pi },\nu )||}/{(1-\gamma )} $表示策略性能的下界. 换言之，当编码矩阵$ {\boldsymbol{P}}_{\nu } $的行空间不包含$ {F} $的张成空间时，将此策略性能下界视为需要优化的目标函数.

为了优化变量，推导可行的梯度上升方向. 分别用$ \theta $和$ \omega $来表示策略$ \pi $和编码矩阵$ {\boldsymbol{P}}_{\nu } $的参数.

定理2　同态策略梯度定理

(21)$ \begin{split}& {\nabla }_{\theta }V_{U}^{{f}_{\nu }({\pi }_{\theta })}(u)=\\&\qquad{{E}}_{{{X}_{t}}\sim \eta (\cdot |f({{\pi }_{\theta }}),u),{{S}_{t}}\sim \nu (\cdot |{{X}_{t}}),{{A}_{t}}\in {{\pi }_{\theta }}(\cdot |{{S}_{t}})}\{{\nabla }_{\theta }\ln {\pi }_{\theta }({A}_{t}|{S}_{t})\times \\& \qquad[r({S}_{t},{A}_{t})+\gamma {{E}}_{Y\sim {{P}_{1}}(\cdot |{{S}_{t}},{{A}_{t}})}[V_{U}^{{f}_{\nu }({\pi }_{\theta })}(Y)]]\}.\\[-1pt]\end{split} $

其中，$ \eta (x|u,f({\pi }_{\theta }))\;=\;\displaystyle \sum \nolimits_{t=0}^{\mathrm{\infty }}{\gamma }^{t}P({X}_{t}\;=\;x|{X}_{0}\;=\;u,{\pi }_{\theta }) ，$$ {P}_{1}({u}^{\prime}|s,a)= \displaystyle \sum \nolimits_{{s}^{\prime}\in S}{{P}}_{SA}({s}^{\prime}|s,a){\nu}({s}^{\prime}|{u}^{\prime}) $.

证明：在抽象空间中，策略梯度的推导遵循与标准策略梯度定理相同的步骤，根据价值函数的定义，有

(22)$ \begin{split}& {\nabla }_{\theta }V_{U}^{{f}_{\nu }({\pi }_{\theta })}(u)=\\&\quad {\nabla }_{\theta }\left[R_{{S}}^{{\pi }_{\theta },\nu }(u)+\gamma \sum \limits_{{u}^{\prime}\in U}{P}_{U}^{{f}_{\nu }\left({\pi }_{\theta }\right)}\left({u}^{\prime}\mid u\right)V_{U}^{{f}_{\nu }\left({\pi }_{\theta }\right)}\left({u}^{\prime}\right)\right]=\\&\quad {\nabla }_{\theta }\sum \limits_{u\in U,s\in S}\nu (s\mid u){\pi }_{\theta }(a\mid s)r(s,a)+\\&\quad \gamma \sum \limits_{{u}^{\prime}\in U}{\nabla }_{\theta }({\boldsymbol{P}}_{\nu }\boldsymbol{P}_{S}^{{\pi }_{\theta }}\boldsymbol{P}_{\nu }^{{\mathrm{T}} })({u}^{\prime}\mid u)V_{U}^{{f}_{\nu }({\pi }_{\theta })}({u}^{\prime})+\\&\quad \gamma \sum \limits_{{u}^{\prime}\in U}\left({\boldsymbol{P}}_{\nu }\boldsymbol{P}_{S}^{{\pi }_{\theta }}\boldsymbol{P}_{\nu }^{{\mathrm{T}} }\right)\left({u}^{\prime}\mid u\right){\nabla }_{\theta }V_{U}^{{f}_{\nu }\left({\pi }_{\theta }\right)}\left({u}^{\prime}\right)=\\&\quad \sum \limits_{s\in S,a\in A}\left[\nu (s\mid u){\pi }_{\theta }(a\mid s)r(s,a){\nabla }_{\theta }\ln {\pi }_{\theta }(a\mid s)\right] +\\&\quad \gamma \sum \limits_{s,{s}^{\prime}\in S,a\in A,{u}^{\prime}\in U}\left[\nu (s\mid u){\pi }_{\theta }(a\mid s){{P}}_{SA}\left({s}^{\prime}\mid s,a\right)\times \right.\\&\quad \left.{\nu }\left({s}^{\prime}\mid {u}^{\prime}\right){\nabla }_{\theta }\ln \;{\pi }_{\theta }(a\mid s)V_{U}^{{f}_{\nu }\left({\pi }_{\theta }\right)}\left({u}^{\prime}\right)\right]+\\&\quad \gamma \sum \limits_{{u}^{\prime}\in U}{P}_{U}^{{f}_{\nu }\left({\pi }_{\theta }\right)}\left({u}^{\prime}\mid u\right){\nabla }_{\theta }V_{U}^{{f}_{\nu }\left({\pi }_{\theta }\right)}\left({u}^{\prime}\right).\end{split} $

令$ {{P}}_{1}({u}^{\prime}|s,a)=\displaystyle \sum \limits_{{s}^{\prime}\in S}{{P}}_{SA}({s}^{\prime}|s,a){\nu } ({s}^{\prime}|{u}^{\prime}) $，反复迭代后得到

(23)$ \begin{split}&{\nabla }_{\theta }V_{U}^{{f}_{\nu }({\pi }_{\theta })}(u) =\sum \limits_{t=0}^{T}{\gamma }^{t}\sum \limits_{x\in U}p\left(u\rightarrow x,k,{\pi }_{\theta }\right)\times \\&\qquad {{E}}_{{{S}_{t}}\sim \nu (\cdot \mid x),{{A}_{t}}\in {{\pi }_{\theta }}(\cdot \mid {{S}_{t}})}\left[r\left({S}_{t},{A}_{t}\right){\nabla }_{\theta }\ln {\pi }_{\theta }\left({A}_{t}\mid {S}_{t}\right)\right]+\\& \qquad \gamma {{E}}_{{{S}_{t}}\sim \nu (\cdot \mid x),{{A}_{t}}\in {{\pi }_{\theta }}(\cdot \mid {{S}_{t}}),Y\sim {{P}_{1}}(\cdot \mid {{S}_{t}},{{A}_{t}})}\left[{\nabla }_{\theta }\ln {\pi }_{\theta }\left({A}_{t}\mid {S}_{t}\right)\times \right.\\& \qquad\left. V_{U}^{{f}_{\nu }\left({\pi }_{\theta }\right)}(Y)\right]=\\&\qquad\sum \limits_{x\in U}\eta \left(x\mid f\left({\pi }_{\theta }\right),u\right){{E}}_{{{S}_{t}}\sim \nu (\cdot \mid x),{{A}_{t}}\in {{\pi }_{\theta }}\left(\cdot \mid {S}_{t}\right),Y\sim {{P}_{1}}\left(\cdot \mid {S}_{t},{A}_{t}\right)}\times \\&\qquad \left[{\nabla }_{\theta }\ln {\pi }_{\theta }\left({A}_{t}\mid {S}_{t}\right)\left[r\left({S}_{t},{A}_{t}\right)+\gamma V_{U}^{{f}_{\nu }\left({\pi }_{\theta }\right)}(Y)\right]\right]=\\&\qquad{{E}}_{{{X}_{t}}\sim \eta \left(\cdot \mid f\left({\pi }_{\theta }\right),u\right),{{S}_{t}}\sim \nu \left(\cdot \mid {X}_{t}\right),{{A}_{t}}\in {{\pi }_{\theta }}\left(\cdot \mid {S}_{t}\right)}\left\{{\nabla }_{\theta }\ln {\pi }_{\theta }\left({A}_{t}\mid {S}_{t}\right)\times \right.\\& \qquad\left. \left[r\left({S}_{t},{A}_{t}\right)+\gamma {{E}}_{Y\sim {{P}_{1}}\left(\cdot \mid {S}_{t},{A}_{t}\right)}\left[V_{U}^{{f}_{\nu }\left({\pi }_{\theta }\right)}(Y)\right]\right]\right\}.\end{split} $

式中：

$ \eta (x|u,f({\pi }_{\theta }))=\sum \limits_{t=0}^{\mathrm{\infty }}{\gamma }^{t}P({X}_{t}=x|{X}_{0}=u,{\pi }_{\theta }) . $

证毕.

将解码矩阵$ {\boldsymbol{P}}_{{{\nu }_{\omega }}} $视为待优化的参数矩阵，通过梯度法求解. 为了简化计算，定义$ {\boldsymbol{A}}^{\pi }=\boldsymbol{P}_{S}^{\pi }{\boldsymbol{P}}_{\hat{\nu }} $，其中条件概率满足$ \hat{\nu }(u|s)={\nu (s|u)}/{\displaystyle \sum \nolimits_{s\in {S}}\nu (s|u)} $.

为了使上述基于梯度的优化过程具备完整的数学支撑，定理3详细推导并给出了该参数化编码矩阵的精确梯度解析表达式. 定理3的提出，不仅明确了参数迭代更新的具体方向，也为整个优化框架的严谨性、收敛潜力及其在复杂马尔可夫决策过程中的适用性提供了坚实的理论基础.

定理3　解码矩阵梯度定理

关于参数$ \omega $的梯度由下式给出：

(24)$ \begin{split}& {\nabla }_{\omega }V_{U}^{{f}_{{{\nu }_{\omega }}}(\pi )}(u)=\\&\qquad{{E}}_{{{X}_{t}}\sim \eta (\cdot |f(\pi ),u),{{S}_{t}}\sim {{\nu }_{\omega }}(\cdot |{{X}_{t}}),{{{A}}_{t}}\in \pi (\cdot |{{S}_{t}})}\{{\nabla }_{\omega }\ln {\nu }_{\omega }({\mathrm{S}}_{t}|{X}_{t})\times \\&\qquad [r({S}_{t},{A}_{t})+\gamma {{E}}_{Y\sim {{P}_{2}}(\cdot |{{S}_{t}},{{A}_{t}})}[V_{U}^{{f}_{{{\nu }_{\omega }}}(\pi )}(Y)]]+\\&\qquad \gamma {{E}}_{{{S}_{t+1}}\sim {{P}_{{S}{A}}}(\cdot |{{S}_{t}},{{A}_{t}}),Y\sim {{\hat{\nu }}_{\omega }}(\cdot |{{S}_{t+1}})}[{\nabla }_{\omega }\ln {\hat{\nu }}_{\omega }(Y|{S}_{t+1})\times \\&\qquad V_{U}^{{f}_{{{\nu }_{\omega }}}(\pi )}(Y)]\}.\end{split} $

式中：

${{P}}_{2}(Y\mid {S}_{t},{A}_{t})=\sum \limits_{{S}_{t+1}\in S}{{P}}_{SA}({S}_{t+1}\mid {S}_{t},{A}_{t}){\hat{v}}_{\omega }(Y\mid {S}_{t+1}) $

证明：类似地，有

(25)$ \begin{split}& {\nabla }_{\omega }V_{U}^{{f}_{{{\nu }_{\omega }}}(\pi )}(u)=\\&\qquad{\nabla }_{\omega }[R_{S}^{\pi ,{\nu }_{\omega }}(u)+\gamma \sum \limits_{{u}^{\prime}\in U}P_{U}^{{f}_{{{\nu }_{\omega }}}(\pi )}({u}^{\prime}|u)V_{U}^{{f}_{\nu }(\pi )}({u}^{\prime})]=\\&\qquad\sum \limits_{u\in U,s\in S}{\nu }_{\omega }(s|u)\pi (a|s)r(s,a){\nabla }_{\omega }\ln {\nu }_{\omega }(s|u)+\\&\qquad \sum \limits_{s\in S,{u}^{\prime}\in U}{\nu }_{\omega }(s|u)P_{S}^{\pi }({s}^{\prime}|s)\sum \limits_{{s}^{\prime}\in S}{\nabla }_{\omega }\hat{\nu }({u}^{\prime}|{s}^{\prime})\cdot\\&\qquad [(\ln \nu (s|u)+\ln \hat{\nu }({u}^{\prime}|{s}^{\prime}))V_{U}^{{f}_{{{\nu }_{\omega }}}(\pi )}({u}^{\prime})]+\\&\qquad \gamma \sum \limits_{{u}^{\prime}\in U}P_{U}^{{f}_{{{\nu }_{\omega }}}(\pi )}({u}^{\prime}|u){\nabla }_{\omega }V_{U}^{{f}_{{{\nu }_{\omega }}}(\pi )}({u}^{\prime}).\end{split} $

令$ {{P}}_{2}({u}^{\prime}|s,a)=\displaystyle \sum \limits_{{s}^{\prime}\in S}{{P}}_{SA}({s}^{\prime}|s,a)\hat{\nu }({u}^{\prime}|{s}^{\prime}) $. 按照这种模式，可得

(26)$ \begin{split}&{\nabla }_{\omega }V_{U}^{{f}_{{{\nu }_{\omega }}}(\pi )}(u)=\\&\qquad{{E}}_{{{X}_{t}}\sim \eta (\cdot |f(\pi ),u),{{S}_{t}}\sim {{\nu }_{\omega }}(\cdot |{{X}_{t}}),{{{A}}_{t}}\in \pi (\cdot |{{S}_{t}})} \\&\qquad \{{\nabla }_{\omega }\ln {\nu }_{\omega }({{S}}_{t}|{X}_{t})\times [r({S}_{t},{A}_{t})+\gamma {{E}}_{Y\sim {{P}_{2}}(\cdot |{{S}_{t}},{{A}_{t}})}\\&\qquad[V_{U}^{{f}_{{{\nu }_{\omega }}}(\pi )}(Y)]]+ \gamma {{E}}_{{{S}_{t+1}}\sim {{P}_{\boldsymbol{S}\boldsymbol{A}}}(\cdot |{{S}_{t}},{{A}_{t}}),Y\sim {{\hat{\nu }}_{\omega }}(\cdot |{{S}_{t+1}})} \\&\qquad[{\nabla }_{\omega } \ln {\hat{\nu }}_{\omega }(Y|{S}_{t+1})\times V_{U}^{{f}_{{{\nu }_{\omega }}}(\pi )}(Y)]\}.\end{split} $

证毕.

类似于Zhao等^[19]的工作，基于上述优化理论提出基于模型的优化算法，即算法1. 其中，lr为学习率.

算法1　基于模型的同态策略梯度算法

1. 　初始化策略$ {\theta }^{0} $和$ {\omega }^{0} $

2. 　$ t=0 $

3. 重复

4. $ {\boldsymbol{C}}^{{{\pi }_{{{\theta }^{t}}}}}=\boldsymbol{P}_{S}^{{\pi }_{{{\theta }^{t}}}}\boldsymbol{P}_{{\nu }_{{{\omega }^{t}}}}^{{\mathrm{T}} } $

5. $ \boldsymbol{V}_{U}^{{f}_{\nu }({\pi }_{{{\theta }^{t}}})}={(\boldsymbol{I}-\gamma {{\boldsymbol{P}}_{{{\nu }_{{{\omega }^{t}}}}}}{{\boldsymbol{C}}^{{{\pi }_{{{\theta }^{t}}}}}})}^{-1}{\boldsymbol{P}}_{\nu }\boldsymbol{R}_{S}^{{\pi }_{{{\theta }^{t}}}} $

6. $ {{\theta }^{t+1}={\theta }^{t}+{\mathrm{lr}}\cdot \dfrac{\partial }{\partial \theta }\left({J}_{U}\left({f}_{{{\nu }_{{{\omega }^{t}}}}}\left(\pi _{\theta }^{t}\right)\right)-g\left({\pi }_{\theta },{\nu }_{{{\omega }^{t}}}\right)\right){|}_{\theta ={{\theta }^{t}}} }$

7. $ {{\omega }^{t+1}={\omega }^{t}+{\mathrm{lr}}\cdot \dfrac{\partial }{\partial \omega }\left[{J}_{U}\left({f}_{{{\nu }_{{{\omega }^{t}}}}}\left(\pi _{\theta }^{t}\right)\right)-g\left({\pi }_{\theta },{\nu }_{{{\omega }^{t}}}\right)\right]{|}_{\omega ={{\omega }^{t}}}} $

8. $ t=t+1 $

　直到$ \left|\left|V_{{S}}^{{\pi }_{{{\theta }^{t}}}}-V_{{S}}^{\pi _{\theta }^{t+1}}\right|\right|\leqslant \epsilon $

如表1所示，在4个代表性任务上开展实验. 实验采用实际的运行时间作为评价标准，测试平台采用AMD锐龙7-5800X处理器和NVIDIA GeForce RTX 4090显卡.

如表2所示为实验的参数设置. 如图2所示为不同任务下的策略性能随迭代次数N_i的变化. 其中，R为实际的累积奖励，R_low为累积奖励的理论下界，P_ab为抽象状态空间占比. 随机模型设有30%、50%和100% 3种密度等级，实线与虚线分别对应实际性能及其下界（图2(e)、(f)中的虚线参考右轴）. 菱形标记虚线表示40 000次迭代后的结果，并作为最优性能的近似.

根据定理1和式(25)可知，抽象空间中的奖励机制驱动了性能提升. 在随机模型中，当抽象率保持较高水平（如80%）时，初期因参数空间庞大、收敛缓慢，导致惩罚项$ {\gamma ||{\boldsymbol{g}}(\tilde{\pi },v)||}/{(1-\gamma ) } $显著增大，进而拉低了性能下界；然而在四室网格世界任务中，这一趋势发生了反转. 当抽象率过低（如20%）时，信息瓶颈会引发欠拟合，而较高的抽象率则能更有效地刻画环境的拓扑结构.

如图3所示，对本文方法与EBHPG^[19]在不同任务下的性能及理论下界差异进行对比. 其中，∆R为本文方法和EBHPG的实际性能差异，∆R_L为本文方法和EBHPG的下界性能差异. EBHPG采用伪逆运算，在矩阵病态时数值不稳定，导致惩罚项激增，并使得下界松弛失效. 相比之下，提出的正交投影法通过几何约束保证了算子的规范性，显著抑制了惩罚项的增长. 实验结果表明，本文方法的理论下界与实际性能之间更趋一致，在非对称任务（如四室网格世界和双队列管理）中表现出极强的稳健性. 综上所述，正交投影机制在保持零损失的同时，有效克服了基线方法的波动性和不适定性，后续工作将进一步验证该方法在更具挑战性任务中的性能.

在实验中，随机模型任务的状态数为$5\;000 $；弱耦合MDP的状态数为$ 3\;600 $；四房间网格世界任务的状态数为$6\;400 $；串联队列管理任务的状态数为$ 6\;084 $，动作数的设置都和之前实验保持一致.

实验中采用标准策略迭代算法作为主要基准对比方法. 参与比较的算法包括Bertsekas等^[12]提出的经典聚合技术，以及Ayoub等^{[30-33, 25, 19]}提出的6种状态聚合方法. 文献[30, 32, 33]方法属于无模型方法，其余方法则属于基于模型的方法. 为了确保对比的公平性和可复现性，所有算法均采用默认超参数配置运行，策略优化统一通过策略梯度方法实现(学习率设置为$ 1\times 1{0}^{-3} $).

实验结果如图4所示. 其中，t为时间，实线表示5次运行的平均值，阴影区域表示最大值与最小值的区间.

实验结果表明，所提方法在大规模任务中展现出卓越的收敛效率与数值稳定性. 如图4(a)、(b)所示，在随机模型与弱耦合任务中，该方法能够迅速收敛至较高奖励区间. 在双队列管理任务(图4(c))中，尽管所提方法的峰值回报略低于EBHPG，但学习曲线更平滑，且有效抑制了后期振荡，展现出更强的鲁棒性. 在具有复杂拓扑结构的四室网格世界环境(图4(d))中，传统基于矩阵求逆的方法^[33]常因矩阵病态特征导致收敛停滞；相比之下，本文通过引入正交投影算子有效规避了这一技术瓶颈，确保了在数千量级状态空间下仍能取得最优的收敛性能与鲁棒性.

提出基于正交投影算子的同态状态抽象框架，旨在应对大规模MDP在状态聚合过程中面临的表示与计算挑战. 通过引入正交规范化约束，本框架从根源上规避了传统同态映射中因伪逆运算导致的数值病态问题，显著增强了投影算子的几何稳定性. 在理论层面，本文建立了抽象误差与策略性能之间的解析联系，成功推导出基于贝尔曼残差的策略性能可计算下界. 依托该理论支撑，本文设计的同态策略梯度算法能够在保持结构一致性的前提下，显著降低计算开销并提升收敛效率，为复杂系统中的大规模序列决策问题提供了稳健的解决方案.

后续研究将从以下2个维度进一步展开. 1)针对线性投影在处理高度非线性动力学系统时存在的表征局限，探索将非线性同态映射与深度神经表征相融合，以增强框架对复杂环境的适应能力. 2)研究抽象维度的自适应调节机制，通过在线评估压缩率与信息损失之间的权衡，动态优化潜在空间规模. 这些探索将有助于提升算法在多变任务环境下的鲁棒性、泛化能力及自适应表征水平.