在文本生成图像领域，图像完整度、稳定性与多样性均是重要的评价指标^[1-5]. 尽管该领域近年来发展迅速，但现有模型（如StackGAN^[6]、AttnGAN^[7]、DFGAN^[8]、RATGAN^[9]、ViewDiff^[10]、NoiseCollage^[11]等）在生成结果的多样性与整体质量上仍有提升空间，主要问题如下. 1)图像细节模糊，结构虽然合理，但色彩、质感与细节表现力不足，细节变化匮乏. 2)风格与内容单一，相同文本的描述生成结果高度相似，缺乏多样性与创造性. 3)细节丰富度不足，不同描述生成的图像在背景、颜色、形状、对象位置等整体与局部结构上趋于一致.

针对文本生成图像多样性差、质量不高的问题，提出基于生成对抗网络的坐标注意力机制文本生成图像算法. 通过条件增强计算协方差矩阵与特征均值，以低维条件变量替代原始高维特征. 在生成器残差块中融入坐标注意力机制，构建深度融合模块(CA-Block)，捕捉通道依赖并保留位置信息，强化对象表示. 在鉴别器中引入空间重构单元，构成特征空间重构模块(SRU-Block)，分离冗余特征并重构，抑制空间冗余，提升鉴别器的特征表征能力. 在输入层面，条件增强从文本语义分布采样，为生成注入多样性“种子”. 在生成层面，坐标注意力模块将随机性转化为丰富的空间布局与细节表达. 在判别层，空间重构单元通过分离冗余信息，强化关键特征表征，约束特征多样性，以保证模型的生成质量.

基于坐标注意力机制和生成对抗网络的文本生成图像算法（CAT-GAN）模型的结构如图1所示，包含生成器G与鉴别器D. G包含条件增强模块、深度融合模块及卷积层. D包含特征重构模块、单向输出判别器（One-Way Out）、梯度匹配惩罚^[12]与卷积层. G负责生成虚假图像，D负责判别真伪. 单向输出判别器用于增强学习稳定性，并防止模式坍塌^[13]. 梯度匹配惩罚作为正则手段，有效提升生成稳定性.

图1中，左侧虚线框标识部分为条件增强模块. 条件增强模型通过全连接层得到服从正态分布的均值$\mu({{\bf\textit{φ}}}_{\mathrm{t}} )$和协方差矩阵$\displaystyle \sum{{\bf\textit{φ}}}_{\mathrm{t}} $，从该正态分布中随机采样$ \boldsymbol{\varepsilon } $，得到附加条件变量$ {\hat{\boldsymbol{c}}}_{0} $.

(1)$ {\hat {\boldsymbol{c}}_0} = \mu ({{\bf\textit{φ}} _{\mathrm{t}}}) +\displaystyle \sum {{{\bf\textit{φ}} _{\mathrm{t}}}\otimes {\boldsymbol{\varepsilon }} }. $

式中：$ \otimes $表示矩阵相乘. 使用$ {\hat{\boldsymbol{c}}}_{0} $替换原高维特征向量$ {{\bf\textit{φ}}}_{\mathrm{t}} $，一定程度上解决了文本稀疏性问题.

引入坐标注意力机制(CA)，CA机制通过融合位置信息与通道注意力，具体结构如图2 (a)所示. 假设特征图$ \boldsymbol{F}\in {\mathbf{R}}^{C\times H\times W} $为CA的输入，其中C为通道数，H和W分别为特征图的高和宽. CA将二维全局池化分解为2个一维池化，通过$ 1 \times 1 $卷积进行融合，得到空间位置信息编码$ \boldsymbol{F}'\in {\mathbf{R}}^{(C/r)\times 1\times (H\text{+}W)} $，其中r为缩放因子. 将$ \boldsymbol{F}' $分解成2个不同的特征图，利用卷积与激活函数对其进行运算，得到特征图$ {\boldsymbol{G}}_{\rm{h}} $和$ {\boldsymbol{G}}_{\rm{w}} $. 将特征图F与$ {\boldsymbol{G}}_{\rm{h}} $、$ {\boldsymbol{G}}_{\rm{w}} $利用元素乘法，得到增强的特征表示$ \boldsymbol{Y}'\in {\mathbf{R}}^{C\times H\times W} $，

(2)$ \boldsymbol{Y}'=\boldsymbol{F}\cdot {\boldsymbol{G}}_{{\mathrm{h}}}\cdot {\boldsymbol{G}}_{{\mathrm{w}}} . $

引入仿射变换(CA-Blocks). 具体结构如图2(b)所示，包含下采样层和CA-Block模块. 该算法通过在2个Affine仿射模块间添加ReLU层，将非线性引入图像融合中，扩展了条件表示空间，丰富了图像的视觉特性.

Affine仿射块包括2层多层感知器 (MLP). 1个MLP预测语言条件下的通道尺度参数$ \boldsymbol{\eta } $，另一个预测移位参数$ \boldsymbol{\theta } $，如下所示：

(3)$\left. \begin{split} &\Delta {\boldsymbol{\eta}} = {{\mathrm{MLP}}_1}(\overline{{{\boldsymbol{e}}}}), \;\Delta {\boldsymbol{\theta}} = \text{MLP}_2(\overline{\boldsymbol{e}}); \\&\hat{{\boldsymbol{\eta}}} = {\boldsymbol{\eta}} + \Delta {\boldsymbol{\eta}},\;\hat{{\boldsymbol{\theta}}} = {\boldsymbol{\theta}} + \Delta {\boldsymbol{\theta}}.\end{split} \right\}$

式中：$\overline{\boldsymbol{e}} $为图像特征向量.

Affine仿射变换模块利用参数$ \boldsymbol{\eta } $对视觉特征图进行通道方向缩放操作，利用移动参数$ {\boldsymbol{\theta}} $在通道方向上进行移位操作，即

(4)$ {\mathrm{AFF}}({\boldsymbol{x}}_{i}|\overline{\boldsymbol e} )={\boldsymbol{x}}_{i}{\boldsymbol{\eta }}+{{\theta }}_{i} . $

式中：$ {\boldsymbol{x}}_{i} $为视觉特征图的第i个信息，$ {{\theta }}_{i} $分别为视觉特征图第i通道的移位参数.

SRU-Block采用残差结构，包括卷积层（Conv）、批量归一化层（BN）、ReLU激活层及SRU特征重构单元，具体结构如图3所示. 为了利用特征的空间冗余性，引入空间重构单元（SRU）对信息丰富与匮乏的特征图进行分离与重构，通过组归一化（GN）度量特征图信息含量. 设输入中间特征图$ \boldsymbol{X}\in {\mathbf{R}}^{N\times C\times H\times W} $，其中N为批处理轴通道数，通过GN层处理得到$ {\boldsymbol{X}}_{\mathrm{out}} $.

(5)$ {\boldsymbol{X}}_{\mathrm{out}}={\mathrm{GN}}(\boldsymbol{X})=\gamma \frac{\boldsymbol{X}-{\mu\cdot{\boldsymbol{1}} }}{\sqrt{{{\sigma }}^{2}+\alpha }}+\beta\cdot{\boldsymbol{1}} . $

式中：${\sigma } $和${\mu } $分别为标准差和均值，$ \gamma $和$ \beta $为仿射变换参数，$\alpha $为小的正数. 归一化权重$ {\boldsymbol{W}}_{\gamma }\in {\mathbf{R}}^{C} $体现不同特征图的重要性，

(6)$ {{W}}_{\gamma i}=\dfrac{{\gamma }_{i}}{\displaystyle \sum\nolimits_{j=1}^{{C}}{\gamma }_{j}};\;i,j=1,2, \cdots, C . $

使用sigmoid函数映射$ {\boldsymbol{W}}_{\gamma } $，依据设定的阈值设置权重，得到信息丰富的权重$ {\boldsymbol{W}}_{1} $和信息少的权重$ {\boldsymbol{W}}_{2} $.

(7)$ \boldsymbol{W}={\mathrm{Gate}}({\mathrm{Sigmoid}})({\boldsymbol{W}}_{\gamma }({\mathrm{GN}}(\boldsymbol{X}))) . $

将输入特征$ \boldsymbol{X} $分别与$ {\boldsymbol{W}}_{1} $和$ {\boldsymbol{W}}_{2} $相乘，得到信息丰富的特征$ \boldsymbol{X}_{1}^{\mathrm{w}} $和信息较少的特征$ \boldsymbol{X}_{2}^{\mathrm{w}} $. 其中$ \boldsymbol{X}_{1}^{\mathrm{w}} $信息丰富且表现力强，而$ \boldsymbol{X}_{2}^{\mathrm{w}} $信息极少，被视为冗余. 为了减少空间冗余，采用Reconstruct操作，将信息多的特征与信息少的特征相加. Reconstruct过程可以表示为

(8)$ \left. \begin{array}{l} \boldsymbol{X}_{1}^{\mathrm{w}}={\boldsymbol{W}}_{1}\otimes \boldsymbol{X},\\\boldsymbol{X}_{2}^{\mathrm{w}}={\boldsymbol{W}}_{2}\otimes \boldsymbol{X},\\\boldsymbol{X}_{11}^{\mathrm{w}}\otimes \boldsymbol{X}_{22}^{\mathrm{w}}={\boldsymbol{X}}^{{{\mathrm{w}}{1}}},\\\boldsymbol{X}_{21}^{\mathrm{w}}\otimes \boldsymbol{X}_{12}^{\mathrm{w}}={\boldsymbol{X}}^{{{\mathrm{w}}{2}}},\\{\boldsymbol{X}}^{{{\mathrm{w}1}}}\cup {\boldsymbol{X}}^{{{\mathrm{w}2}}}={\boldsymbol{X}}^{\mathrm{w}}.\end{array} \right\} $

式中：$ \otimes $为逐像素相乘，$ \cup $为逐像素相加.

CAT-GAN通过引入梯度惩罚机制，有效防止过拟合，提升图像的真实感与语义一致性.

(9)$ {L}_{\mathrm{GP}}=k{E}_{\boldsymbol{x}\sim {{P}_{{\mathrm{r}}}}}{\left(\parallel {{\nabla }_{\boldsymbol{x}}}D(\boldsymbol{x}|\boldsymbol{s})\parallel +\parallel {{\nabla }_{\boldsymbol{s}}}D(\boldsymbol{x})\parallel \right)}^{p} . $

式中：$ {L}_{\mathrm{GP}} $为梯度惩罚损失，$ {P}_{\rm{r}} $表示文本与真实图像匹配时的数据分布，$ k $和$ {P}_{\rm{r}} $为超参数，p为阶数. 网络训练使用铰链损失函数稳定过程，生成器的损失函数为

(10)$ {L}_{\mathrm{G}}=-{E}_{{G}(\boldsymbol{z})\sim {{P}_{{\mathrm{g}}}}}[D(G(\boldsymbol{z}),\boldsymbol{s})] . $

式中：$ G(\boldsymbol{z}) $为生成的假图像，$ \boldsymbol{s} $为文本特征，$ \boldsymbol{z} $为噪声，$ {P}_{\rm{g}} $为$ G(\boldsymbol{z}) $的数据分布. 鉴别器的损失为梯度惩罚损失和对抗损失. 对抗损失为

(11)$ \begin{split} L_{\mathrm{D}}^{\mathrm{adv}}=&-{E}_{\boldsymbol{x}\sim P_{\mathrm{r}}}\left[\min\;\{ 0,-1+D(\boldsymbol{x},\boldsymbol{s})\}\right]-\\&\frac{1}{2} {E}_{{G}(\boldsymbol{z})\sim P_{\mathrm{g}}}\left[\min\; \{0,-1-D(G(\boldsymbol{z}),\boldsymbol{s})\}\right]-\\& \frac{1}{2}{E}_{\boldsymbol{x}\sim P_{\mathrm{mis}}}\left[\min\; \{0,-1-D(\boldsymbol{x},\boldsymbol{s})\}\right].\end{split} $

式中：$ \boldsymbol{x} $为真实图像，$ {P}_{{\mathrm{mis}}} $为不匹配文本的$ \boldsymbol{x} $的数据分布. 判别器的总损失函数为

(12)$ L_{\mathrm{D}}=L_{\mathrm{D}}^{\mathrm{adv}}+L_{\mathrm{GP}}^{} . $

将式(9)代入式(12)，可得

(13)$ \begin{split} {L}_{\mathrm{D}}=&-{E}_{{{}_{x}}\sim {{P}_{\boldsymbol{x}}}}\left[\min\; \{0,-1+D(\boldsymbol{x},\boldsymbol{s})\}\right]-\\&\frac{1}{2} {E}_{\mathrm{G}(\boldsymbol{z})\sim {{P}_{\rm{g}}}}\left[\min\; \{0,-1-D(G(\boldsymbol{z}),\boldsymbol{s})\}\right] -\\&\frac{1}{2} {E}_{\boldsymbol{x}\sim P_{\mathrm{mis}}}\left[\min\; \{0,-1-D(\boldsymbol{x},\boldsymbol{s})\}\right] +\\& k{E}_{\boldsymbol{x}\sim {{P}_{\rm{r}}}}{(||{{\nabla }_{\boldsymbol{x}}}D(\boldsymbol{x},\boldsymbol{s})||+||{{\nabla }_{\boldsymbol{s}}}D(\boldsymbol{x},\boldsymbol{s})||)}^{p}\end{split}. $

CAT-GAN所采用的数据集为Caltech UCSD Birds-200(CUB-200)^[14]、Oxford-102 Flowers^[15]和COCO. 将CUB-200数据集分为8 855个训练集和2 933个测试集，将Oxford-102 Flowers数据集分为7 034个训练集和1 155个测试集，将COCO数据集分为80 000个训练集和40 000个测试集.

定量实验采用Inception Score(IS)^[16]和Frechet Inception Distance(FID)^[17]2个指标，评估产生的结果图. IS用于衡量图像质量与多样性，IS越高越好；FID用于衡量生成图像与真实图像的相似度，FID越低越好. 实验环境为Ubuntu20.04.5 LTS 64-bit系统，GPU为NVIDIA RTX3090 (2块)，CUDA版本为11.3，CPU为i9-10900x，基于深度学习框架pytorch，编程语言为python3.8. CAT-GAN的实验参数设置见表1.

如图4所示为CAT-GAN生成的256×256分辨率的图像与其他模型的对比图. 如图4(a)、(b)所示为在CUB-200和Oxford-102数据集上的对比图. 图4中，第1行GT是原始图像，图像上方为文本描述，左侧为模型名称，右侧是对应生成的图像. 通过生成的图像发现，AttnGAN生成第1张图像，鸟的轮廓尾部有所缺失. 通过DM-GAN^[18]生成的展翅高飞的鸟，缺乏局部细节，生成的第2张鸟的面部细节已经全部消失. DF-GAN生成的鸟和花的结构都很完整，总体质量不错，只有少量图像细节欠佳. 通过CAT-GAN生成的图像，无论是在主体的轮廓还是细节上，都优于所对比的模型.

如图5~7所示为CAT-GAN模型在CUB-200、Oxford-102和COCO数据集上的图像多样性. 在图5所示的生成图像中，在符合文本语义描述的情况下，有的鸟挺直身体朝向右上方，有的鸟弓着身体看向左侧. 在图6所示的生成图像中，花的姿态各不相同，花的颜色鲜艳程度、数量、花蕊的大小以及花的背景都不相同. 在图7所示的生成图像中，可以根据给定文本描述在外观和结构上产生高质量结果，主要的实体均可以被较好地捕捉到. 结果表明，CAT-GAN能够根据文本生成主体姿态与背景多样且语义一致的图像，证明该模型具有准确的文本理解与强大的视觉合成能力.

使用IS和FID指标，衡量生成图像的质量和多样性以及真实性. IS越高越好，FID越低越好. 从表2可以看出，在Oxford-102数据集上，CAT-GAN的IS为4.10，FID为16.76. 在CUB-200数据集上，CAT-GAN的IS和FID分别为5.13和14.34. 在COCO数据集上，CAT-GAN的IS和FID分别为31.81和26.36. 提出模型的IS和FID指标都优于对比模型.

为了验证CAT-GAN模型的有效性，以未添加条件增强（Ca）、仅使用一个坐标注意力残差块（CA-Blocks，简称CA）、不使用特征空间重构模块（SRU）的模型作为基线（Baseline），研究CA-Blocks（数量记为N）与SRU-Block（数量记为C）的最佳使用数量. 实验如表3所示，在单独使用Ca、CA和SRU模块后，CAT-GAN的IS和FID指标值均优于Baseline，证明了单个模块的有效性. 此外，当N = 8, C = 7时，CAT-GAN的IS和FID达到最优，可以在不显著增加计算负担的情况下，显著提升生成质量.

针对文本生成图像总体质量低和多样性较差的问题，提出基于生成对抗网络的坐标注意力机制文本生成图像算法. 该方法引入条件增强、坐标注意力残差块和特征空间重构等技术，在Oxford-102、CUB-200和COCO数据集上取得了有效验证. 未来将聚焦于以下方向：采用深度可分离卷积重构位置编码路径，降低参数量；引入动态稀疏注意力机制，实现自适应关键区域的聚焦；使用自适应权重惩罚（ADA）替代MA-GP，增强训练稳定性.