基于CSI导向注意力与门控生成修复的图像语义通信
Image semantic communication based on CSI-guided attention and gated generation repair
通讯作者:
收稿日期: 2025-12-4
| 基金资助: |
|
Received: 2025-12-4
| Fund supported: | 国家自然科学基金资助项目(62461030);云南省基础研究重点资助项目(202401AS070105);中央引导地方科技发展专项资金资助项目(202607AD040003). |
作者简介 About authors
彭艺(1975—),女,教授,博士,从事无线通信、认知无线电技术、协作通信研究.orcid.org/0009-0004-3389-0254.E-mail:
针对现有深度联合信源信道编码方案在图像语义通信中存在重建纹理丢失与边缘模糊的问题,提出融合信道状态信息(CSI)感知与生成对抗网络(GAN)辅助的Swin Transformer图像语义通信方案,以提升典型信噪比下图像传输的感知质量与鲁棒性. 在编码端,设计CSI导向自注意力机制,通过多层感知机将标量CSI映射为加性偏置矩阵并注入到自注意力计算中,动态重塑特征提取拓扑. 在解码端,构建CSI门控生成式修复模块,利用CSI经过非线性映射生成门控因子,自适应调节GAN对残差特征的修复权重. 实验表明,所提方案在不同分辨率数据集上的峰值信噪比(PSNR)与多尺度结构相似性(MS-SSIM)指标均优于传统分离式编码及现有主流语义通信方案,为复杂信道环境下的图像语义传输提供了有效的解决方案.
关键词:
A Swin Transformer-based image semantic communication scheme that integrated channel state information (CSI) awareness with generative adversarial network (GAN) assistance was proposed aiming at the issues of texture loss and edge blurring in reconstructed images encountered by existing deep joint source-channel coding schemes for image semantic communication in order to improve the perceptual quality and robustness of image transmission under typical SNR conditions. A CSI-guided self-attention mechanism was designed at the encoder. A scalar CSI was mapped into an additive bias matrix through a multilayer perceptron and incorporated into the self-attention computation in order to dynamically reshape the feature extraction topology. A CSI-gated generative restoration module was developed at the decoder. CSI was nonlinearly mapped to generate a gating factor for dynamically adjusting the restoration weight of the GAN on residual features. The experimental results demonstrate that the proposed scheme achieves superior peak signal-to-noise ratio (PSNR) and multi-scale structural similarity (MS-SSIM) performance across datasets with different resolutions compared with conventional separated source-channel coding and existing mainstream semantic communication schemes. The proposed method provides an effective solution for image semantic transmission in complex channel environments.
Keywords:
本文引用格式
彭艺, 李恒, 杨青青, 李辉, 王健明.
PENG Yi, LI Heng, YANG Qingqing, LI Hui, WANG Jianming.
关注数据“含义”而非“比特”的语义通信为突破物理极限提供了新范式[8]. 在该框架下,基于深度学习的信源信道联合编码(deep joint source-channel coding, Deep JSCC)技术通过端到端的神经网络优化,将图像直接映射为模拟信道符号[9]. Dai等[10]提出非线性变换信源信道编码,验证了该类方法在信源压缩与信道纠错深度融合方面的优势. 相较于传统数字传输,Deep JSCC在低信噪比(signal-to-noise ratio, SNR)下表现出更稳健的性能退化特性[11],且通过掩码矢量量化技术可以显著增强传输鲁棒性[12]. 早期的Deep JSCC研究主要基于卷积神经网络(convolutional neural networks, CNN)架构[9,13]. CNN在提取局部纹理特征方面表现较优,但受限于固定感受野,难以捕捉图像的长距离依赖关系,而全局信息对于理解图像整体语义至关重要.
Vision Transformer(ViT)利用自注意力机制有效建模了全局语义关联[14]. 为了兼顾计算效率与建模能力,Liu等[15]提出Swin Transformer,引入基于移动窗口的层级式注意力机制,在遥感图像语义分割任务中展现出较优性能[16-18]. WITT架构[19]和Nguyen等[20]提出的动态语义通信方案在多项重建指标上超越基于CNN的传统方案. 现有基于Transformer的传输方案在处理低SNR场景时存在局限. 多数方案以最小化均方误差(mean squared error, MSE)为训练目标,Blau等[21]在“感知-失真权衡”理论中指出,仅优化MSE易导致解码器倾向输出过度平滑、边缘模糊的图像,造成感知质量损失[22-23]. 现有的信道状态信息(channel state information, CSI)反馈机制通常仅被动用于功率缩放[24-25],缺乏根据信道状态动态调整特征提取拓扑的主动适应能力.
针对上述问题,生成式人工智能技术被引入语义通信领域[26]. Grassucci等[27]探索基于扩散模型的超可靠图像传输,Erdem等[28]研究生成式JSCC方案,杨冰等[29]将多模态语义信息用于文本生成图像任务,通过增强生成器表达能力提升细节表现. Liang等[30]提出基于Swin Transformer与GAN的语义通信系统,通过引入对抗损失显著提升图像的视觉质量. 该方法在推理阶段采用静态生成策略,即无论CSI如何波动,解码器均以固定强度进行生成式重建,未考虑直接引入GAN面临的感知-失真权衡问题:GAN生成的纹理在低SNR环境下可以提升图像清晰度,但在高SNR环境下易破坏原始图像的高保真度,导致客观指标下降.
本文提出基于Swin Transformer的CSI感知和GAN辅助(CSI-aware and GAN-assisted Swin Transformer, CAG-ST)图像语义传输方案,旨在提升典型的信噪比范围内(尤其是传统方法失效的低SNR区域)的图像重建质量. 1)提出CSI导向自注意力(CSI-guided self-attention, CGSA)机制. 将CSI映射为注意力偏置,直接注入编码器的自注意力计算中,使模型在低SNR环境下能够动态重塑特征提取拓扑,主动聚焦于抗噪性更强的语义轮廓,从根源上提升低SNR环境下的编码鲁棒性. 2)设计CSI门控GAN修复(CSI gated GAN restoration, CGGR)模块. 在解码端引入并行残差修复GAN,使用门控因子
1. 图像语义传输系统
1.1. 系统模型
构建基于Swin Transformer的Deep JSCC系统,实现无线信道下的图像语义传输. 系统的整体架构如图1所示,主要包含语义发送端、无线信道和语义接收端3个部分. 假设输入图像为
图 1
图 1 基于Swin Transformer的图像语义传输系统
Fig.1 Image semantic transmission system based on Swin Transformer
语义发送端的核心是基于Swin Transformer的非线性编码器
系统的带宽压缩比(channel bandwidth ratio, CBR)定义为每个信源像素所占用的信道符号数
式中:
式中:
语义接收端包含与编码器结构对称的解码器
该系统通过联合优化编码器参数
1.2. Swin Transformer块
为了克服传统CNN在捕捉长距离依赖关系方面的局限性,并解决标准Transformer计算复杂度随图像分辨率二次方增长的问题,采用Swin Transformer作为图像语义特征提取和重建的基本单元.
Swin Transformer块(Swin Transformer block, STB)的核心思想是利用移动窗口机制来计算自注意力. 如图2所示,STB通常成对出现:第1个块采用基于窗口的多头自注意力(window multi-head self-attention, W-MSA),为了降低计算复杂度,W-MSA将特征图划分为若干个不重叠的局部窗口,并在每个窗口内部独立计算自注意力. 第2个块采用基于移动窗口的多头自注意力(shifted windows multi-head self-attention, SW-MSA),仅在窗口内计算注意力会阻碍跨窗口的信息交互,限制感受野. SW-MSA通过在连续的Transformer块之间循环移动窗口划分位置,实现跨窗口的特征交互,在保持线性计算复杂度的同时建立全局依赖. 在每个窗口内,自注意力的计算遵循标准缩放点积注意力机制. 给定查询
图 2
式中:
每个STB主要由层归一化(layernorm, LN)、MSA、多层感知机(multilayer perceptron, MLP)及残差连接组成. 对于第
Swin Transformer的标准Attention机制的特征提取拓扑是静态的,不能根据瞬时CSI动态调整对语义特征的关注重点,导致低SNR下抗噪鲁棒性不足. 现有方案多采用单一优化目标,使重建图像在纹理细节上趋于平滑和边缘模糊.
2. CSI感知双端自适应机制
为了实现图像语义特征提取对信道状态的主动适应,并解决接收端在不同SNR下对感知质量与保真度的动态需求,在标准Swin Transformer架构的基础上,提出CSI感知辅助的无线图像传输系统CAG-ST,如图3所示. 编码器利用CGSA机制,根据信道状态动态调整特征提取的注意力分布,生成鲁棒的语义隐变量. 通过含噪信道传输后,解码器恢复出包含主要语义信息的粗糙重建图像. CGGR模块根据标量SNR生成门控因子,自适应地对粗重建图像进行残差级纹理增强,输出高保真图像.
图 3
2.1. CSI导向自注意力机制
现有的Deep JSCC方案通常仅利用CSI进行特征幅度的缩放,这种被动的适应方式并未改变神经网络提取特征的拓扑结构. 在低SNR环境下,图像的细微纹理极易被噪声淹没,此时若仍关注长距离的弱相关特征,则该特征的传输不仅效率低下,还会引入额外的解码误差. 本研究设计如图4所示的CGSA机制,通过将物理层的信道状态映射为语义层的注意力偏置,动态重塑特征提取的关注点. 通过设计轻量级映射网络
图 4
式中:
式中:
2.2. CSI门控GAN修复模块
针对接收端在低SNR下重建图像模糊和细节纹理丢失的问题,以及传统GAN在高SNR下易产生虚假纹理导致客观评价指标下降的矛盾,设计CGGR模块,该模块的结构如图5所示. 其中,S为卷积步长. 与直接利用GAN生成重建图像不同,该模块采用“粗糙重建+残差修复”的架构,引入CSI门控因子
图 5
该生成器包含下采样、深层特征提取与上采样3个阶段. 通过1个
为了动态调控GAN的介入程度,设计门控网络
最终的重建图像
通过在训练损失函数中引入对
CAG-ST系统的训练过程分为以下2个阶段. 1)预训练基于Swin Transformer的端到端图像语义传输系统,引入CGSA机制优化像素损失
3. 实验结果与分析
3.1. 实验设置
为了全面评估CAG-ST方法的性能,在不同分辨率的图像数据集和多种信道条件下进行实验,与现有的主流图像语义传输方案进行对比.
实验采用3个标准公开图像数据集,涵盖从低分辨率到高分辨率的多种场景. CIFAR-10数据集包含60 000张32×32像素的彩色图像(50 000张用于训练,10 000张用于测试),该数据集主要用于验证本研究方案在低分辨率图像上的基本特征提取与恢复能力. DIV2K数据集包含800张2040×
将提出的CAG-ST与以下3种代表性方案进行对比. 第1种是“BPG+LDPC”,代表传统分离式编码方案,信源编码采用BPG(better portable graphics)格式,信道编码采用标准的低密度奇偶校验(low-density parity-check, LDPC)码[31],正交幅度调制(quadrature amplitude modulation, QAM)的块长度为6144. 第2种是经典的基于CNN的Deep JSCC方案[9],在给定CBR的条件下,信道输入符号维度由CBR控制,无须额外冗余. 第3种是基于Swin Transformer的经典图像语义通信方案WITT. 为了保证对比公平性,所有的JSCC方案采用相同的信道符号维度,传统数字方案通过调整信源压缩率与信道编码码率匹配目标CBR.
在2种典型的无线信道环境下进行实验,分别是AWGN信道和Rayleigh衰落信道. AWGN信道模拟加性高斯白噪声环境,主要考察方案抗噪声的能力. Rayleigh衰落信道模拟多径效应显著的非视距传输环境,考察方案在复杂衰落下的鲁棒性. 假设接收端具有完美的CSI并执行迫零均衡.
3.2. 评价指标
为了综合衡量图像重建的保真度和感知质量,采用PSNR和多尺度结构相似性[32](multi scale structural similarity index measure, MS-SSIM)作为主要的客观评价指标. PSNR是衡量图像像素级保真度的标准指标,计算公式为
式中:
结构相似性(structural similarity index measure, SSIM)是衡量图像之间相似度的指标,从亮度、对比度和结构3个分量分别进行计算. 与仅计算像素点差异的PSNR相比,SSIM更关注图像的属性,尤其是捕捉人眼对物体结构信息的感知能力. 与SSIM相比,MS-SSIM综合考虑了不同观察距离或分辨率下的亮度、对比度和结构信息,更符合人眼视觉系统的感知特性. MS-SSIM的值范围为
3.3. 结果分析
图6展示了Kodak和CIFAR-10数据集在AWGN信道和Rayleigh衰落信道下,上述各传输方案的图像重建质量指标PSNR随SNR的变化情况. 从图6(a)可知,高分辨率图像在AWGN信道下,提出的CAG-ST方案在SNR=2 dB时达到了31.21 dB的PSNR,相较于WITT方案提升了1.02 dB,相较于Deep JSCC提升了2.62 dB. 这表明传统注意力机制易被强噪声干扰,导致有效特征提取能力下降. CAG-ST引入的CGSA机制将信道偏置项注入传统自注意力计算,利用信道状态先验抑制长距离的噪声关联,使编码器聚焦于抗噪性更强的局部轮廓特征,从而有效补偿信道噪声带来的失真. 随着SNR提升至12 dB,CAG-ST方案依然保持了最优性能,略优于WITT,验证了含有门控机制的GAN在高SNR下对保真度的有效维护. 从图6(b)可以看出,在更复杂的Rayleigh衰落信道下,提出的CAG-ST方案具有更优的鲁棒性. 当SNR = 2 dB时,CAG-ST的PSNR达到29.81 dB,优于WITT和Deep JSCC方案. BPG+LDPC方案由于无法纠正超出设计能力的误码,在此条件下失效,出现了严重的“悬崖效应”. 相比之下,端到端的JSCC方案仍能维持有效的图像传输. 图6(c)、(d)表现出即使在低分辨率数据集上,CAG-ST方案在全SNR范围内也都优于WITT和Deep JSCC方案. 结果表明,CAG-ST方案通过自适应的特征提取和生成式修复,在信道干扰严重的环境中展现出优于现有主流图像语义传输方案的适应性与鲁棒性. 在高SNR环境下,信道噪声导致的语义特征损坏较少,模型能够恢复更多的纹理细节,使得重建图像质量接近原始图像.
图 6
图 6 不同传输方案重建图像的PSNR随信噪比的变化曲线
Fig.6 PSNR curves of reconstructed images by different transmission schemes varying with signal-to-noise ratio
除像素级保真度指标PSNR外,还采用MS-SSIM来评估重建图像的感知质量. MS-SSIM能够更客观地反映人眼对图像结构、对比度和亮度变化的敏感度,该指标对于衡量GAN生成纹理的真实性尤为关键. 在AWGN信道下,传输Kodak数据集的MS-SSIM性能曲线如图7所示. 实验结果表明,不同传输方案的MS-SSIM性能均随SNR的增大而提升,但CAG-ST方案在典型的信噪比范围内均保持了领先优势. 这种结构相似性的显著提升归功于CAG-ST方案在发送端利用CGSA机制保护关键结构特征,在接收端利用CGGR依据残差先验填补受损纹理细节,从而在极低信噪比下依然能够重建出结构自然且视觉逼真的图像.
图 7
图 7 不同传输方案重建图像的MS-SSIM随信噪比的变化曲线
Fig.7 MS-SSIM curves of reconstructed images by different transmission schemes varying with signal-to-noise ratio
为了直观评估在人眼感知层面的重建效果,选取Kodak数据集中的典型场景(包含丰富纹理细节的石墙建筑和具有复杂图案的壁画房屋),在AWGN信道、SNR=2 dB条件下进行可视化对比. 图8展示了WITT方案和CAG-ST方案的重建结果与原始图像的视觉对比,并附有对应的评价指标. 从第1行的石墙建筑图像可以看出,WITT方案重建图像呈现出明显过度平滑的现象,墙面的砖块纹理模糊不清,门上的条纹细节几乎没有体现,缝隙细节丢失严重,这是采用单一优化目标带来的影响. 相比之下,仅引入CSI导向自注意力机制的CAG-ST(CGSA)方案在结构轮廓上有所改善,PSNR和MS-SSIM值均有提升,这表明编码器能够更有效地捕捉语义特征. CAG-ST方案通过引入CSI门控GAN修复模块,恢复石墙的高频纹理细节,砖块边缘清晰,视觉观感进一步提升. 第2行的壁画房屋图像进一步验证了这一结论. 在处理壁画中复杂的人物图案时,WITT的重建结果出现严重的涂抹感,人物面部及肢体细节难以辨认,CAG-ST方案则展现出强大的生成式修复能力,更加清晰地重建壁画中的线条细节,在低SNR下有效解决了重建图像模糊的问题,实现了感知识别度与像素保真度的双重提升.
图 8
图 8 不同方案传输Kodak数据集典型场景的视觉对比
Fig.8 Visual comparison of typical scenarios for transmitting Kodak dataset using different schemes
为了验证CAG-ST方案中CGSA机制与CGGR模块的有效性,通过消融实验加以检验. 在Kodak数据集下的AWGN信道中,测试本研究的5种不同方案变体,如表1所示. 从图9、10的消融实验结果可知,CAG-ST(CGSA)仅对编码器进行改进,在全SNR范围下,CAG-ST的PSNR和MS-SSIM较WITT方案均有提升,这表明通过将CSI映射为注意力偏置注入Transformer中,编码器能够根据信道状态动态优化特征提取拓扑. 此外,CAG-ST(CGGR,
表 1 CAG-ST方案的不同变体
Tab.1
| 方案变体 | 描述 |
| CAG-ST | 本研究提出的完整方案,同时包含CGSA机制和CGGR模块. |
| CAG-ST(CGSA) | 在基线基础上,仅在编码端引入CSI导向自注意力机制. |
| CAG-ST(CGGR, | 在基线基础上,仅在解码端引入完整的CGGR模块. |
| CAG-ST(CGGR, | CGGR模块移除GAN仅保留CSI门控机制,且编码端不含CGSA机制. |
| CAG-ST(CGGR,GAN) | CGGR模块移除CSI门控机制仅保留GAN,且编码端不含CGSA机制. |
图 9
图 9 不同CAG-ST变体的重建图像PSNR随信噪比的变化曲线
Fig.9 PSNR curves of reconstructed images for different variants of CAG-ST varying with signal-to-noise ratio
图 10
图 10 不同CAG-ST变体的重建图像MS-SSIM随信噪比的变化曲线
Fig.10 MS-SSIM curves of reconstructed images for different variants of CAG-ST varying with signal-to-noise ratio
在AWGN信道下对不同方案的复杂度进行测试和对比,从Kodak数据集随机选取20张图片,大小统一预处理为256像素×256像素进行测试,记录每张图像的平均编码和解码时长. 表2展示了基于JSCC的各传输方案在模型参数量Np、每秒浮点运算次数(floating point operations per second, FLOPs)以及端到端延迟方面的数据. 其中,ten为编码时长,tde为解码时长. 实验结果表明,提出的CAG-ST方案在显著提升图像感知质量的同时,依然保持着具有竞争力的推理效率,这验证了Swin Transformer架构在处理高分辨率图像语义特征提取时的计算优势. 从WITT与CAG-ST(CGSA)的对比可知,引入CGSA机制后,编码器参数量增加了约9.3×106,编码时长仅增加了1.68 ms. 这表明CGSA模块虽然增加了部分参数量,但作为轻量级的注意力偏置生成网络,该模块对编码实时性的影响很小. 对比CAG-ST(CGSA)与CAG-ST,编码时长保持不变,解码时长增加5.69 ms,FLOPs增加34.61×109,该增长主要源于解码端引入的CGGR模块. 虽然GAN带来了一定的计算负担,但CAG-ST的总延迟仍显著低于Deep JSCC. CAG-ST方案通过非对称的复杂度分配策略,在编码端以较低的计算代价实现了信道自适应特征提取,在解码端利用GAN提升重建质量. 尽管参数量和FLOPs较WITT有所增加,但推理速度仍处于ms级,能够满足6G网络下对低时延、高质量图像语义通信的实际应用需求.
表 2 不同传输方案的复杂度测试
Tab.2
| 传输方案 | Np/106 | FLOPs/109 | ten/ms | tde/ms |
| Deep JSCC | 15.8 | 153.43 | 48.26 | 67.48 |
| WITT | 28.2 | 33.61 | 7.51 | 9.39 |
| CAG-ST(CGSA) | 37.53 | 41.37 | 9.19 | 9.72 |
| CAG-ST | 45.47 | 75.98 | 9.19 | 15.41 |
4. 结 语
面向无线信道下的图像语义传输,提出融合信道状态感知与生成式修复的增强型语义通信方案. 该方案在编码端构建CSI与特征提取的非线性映射,实现鲁棒语义特征的主动提取. 在解码端引入门控生成式修复机制,有效应对感知质量与像素保真度之间的权衡问题. 实验表明,采用所提的双端自适应机制,有效提升了图像重建的结构一致性与视觉感知效果,综合性能优于现有的主流传输方案. 未来研究将致力于进一步轻量化模型结构以适配边缘设备和山区无人机的应急通信计算资源约束,并探索该方案在复杂通信环境下对视频流和多模态数据传输的拓展应用.
参考文献
The roadmap to 6G: AI empowered wireless networks
[J].DOI:10.1109/MCOM.2019.1900271 [本文引用: 1]
Semantic communication empowered 6g networks: techniques, applications, and challenges
[J].DOI:10.1109/ACCESS.2025.3532797 [本文引用: 1]
5G-A车联网确定性网络中的语义通信系统
[J].
Semantic communication system in deterministic networking for5G-advanced vehicular network
[J].
A mathematical theory of communication
[J].DOI:10.1002/j.1538-7305.1948.tb01338.x [本文引用: 1]
Toward wisdom-evolutionary and primitive-concise 6G: a new paradigm of semantic communication networks
[J].DOI:10.1016/j.eng.2021.11.003 [本文引用: 1]
Beyond transmitting bits: context, semantics, and task-oriented communications
[J].DOI:10.1109/JSAC.2022.3223408 [本文引用: 1]
Deep joint source-channel coding for wireless image transmission
[J].DOI:10.1109/TCCN.2019.2919300 [本文引用: 3]
Nonlinear transform source-channel coding for semantic communications
[J].DOI:10.1109/JSAC.2022.3180802 [本文引用: 1]
Robust semantic communications with masked VQ-VAE enabled codebook
[J].
DeepJSCC-f: deep joint source-channel coding of images with feedback
[J].DOI:10.1109/JSAIT.2020.2987203 [本文引用: 1]
基于 CNN 和 Efficient Transformer 的多尺度遥感图像语义分割算法
[J].
Semantic segmentation algorithm for multiscale remote sensing images based on CNN and Efficient Transformer
[J].
基于多尺度互注意力的遥感图像语义分割网络
[J].
Semantic segmentation network for remote sensing image based on multi-scale mutual attention
[J].
全局信息提取与重建的遥感图像语义分割网络
[J].
Remote sensing image semantic segmentation network based on global information extraction and reconstruction
[J].
Swin transformer-based dynamic semantic communication for multi-user with different computing capacity
[J].DOI:10.1109/TVT.2024.3362328 [本文引用: 1]
Generative adversarial networks for extreme learned image compression
[J].
Deep joint source-channel coding for wireless image transmission with adaptive models
[J].DOI:10.3390/electronics12224637 [本文引用: 1]
Generative AI-driven semantic communication networks: architecture, technologies and applications
[J].DOI:10.1109/tccn.2024.3435524 [本文引用: 1]
Generative joint source-channel coding for semantic image transmission
[J].DOI:10.1109/JSAC.2023.3288243 [本文引用: 1]
基于多模态语义信息的文本生成图像方法
[J].
Text-to-image generation method based on multimodal semantic information
[J].
Design of low-density parity check codes for 5G new radio
[J].DOI:10.1109/MCOM.2018.1700839 [本文引用: 1]
/
| 〈 |
|
〉 |

