浙江大学学报(工学版), 2026, 60(12): 2694-2703 doi: 10.3785/j.issn.1008-973X.2026.12.015

通信与电子工程

基于CSI导向注意力与门控生成修复的图像语义通信

彭艺,, 李恒, 杨青青,, 李辉, 王健明

昆明理工大学 信息工程与自动化学院,云南 昆明 650031

Image semantic communication based on CSI-guided attention and gated generation repair

PENG Yi,, LI Heng, YANG Qingqing,, LI Hui, WANG Jianming

Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650031, China

通讯作者: 杨青青,女,副教授,博士. orcid.org/0009-0004-4584-6381. E-mail: 20090119@kust.edu.cn

收稿日期: 2025-12-4  

基金资助: 国家自然科学基金资助项目(62461030);云南省基础研究重点资助项目(202401AS070105);中央引导地方科技发展专项资金资助项目(202607AD040003).

Received: 2025-12-4  

Fund supported: 国家自然科学基金资助项目(62461030);云南省基础研究重点资助项目(202401AS070105);中央引导地方科技发展专项资金资助项目(202607AD040003).

作者简介 About authors

彭艺(1975—),女,教授,博士,从事无线通信、认知无线电技术、协作通信研究.orcid.org/0009-0004-3389-0254.E-mail:12309214@kust.edu.cn , E-mail:12309214@kust.edu.cn

摘要

针对现有深度联合信源信道编码方案在图像语义通信中存在重建纹理丢失与边缘模糊的问题,提出融合信道状态信息(CSI)感知与生成对抗网络(GAN)辅助的Swin Transformer图像语义通信方案,以提升典型信噪比下图像传输的感知质量与鲁棒性. 在编码端,设计CSI导向自注意力机制,通过多层感知机将标量CSI映射为加性偏置矩阵并注入到自注意力计算中,动态重塑特征提取拓扑. 在解码端,构建CSI门控生成式修复模块,利用CSI经过非线性映射生成门控因子,自适应调节GAN对残差特征的修复权重. 实验表明,所提方案在不同分辨率数据集上的峰值信噪比(PSNR)与多尺度结构相似性(MS-SSIM)指标均优于传统分离式编码及现有主流语义通信方案,为复杂信道环境下的图像语义传输提供了有效的解决方案.

关键词: 语义通信 ; Swin Transformer ; 信道状态信息 ; 自适应调节 ; 生成对抗网络

Abstract

A Swin Transformer-based image semantic communication scheme that integrated channel state information (CSI) awareness with generative adversarial network (GAN) assistance was proposed aiming at the issues of texture loss and edge blurring in reconstructed images encountered by existing deep joint source-channel coding schemes for image semantic communication in order to improve the perceptual quality and robustness of image transmission under typical SNR conditions. A CSI-guided self-attention mechanism was designed at the encoder. A scalar CSI was mapped into an additive bias matrix through a multilayer perceptron and incorporated into the self-attention computation in order to dynamically reshape the feature extraction topology. A CSI-gated generative restoration module was developed at the decoder. CSI was nonlinearly mapped to generate a gating factor for dynamically adjusting the restoration weight of the GAN on residual features. The experimental results demonstrate that the proposed scheme achieves superior peak signal-to-noise ratio (PSNR) and multi-scale structural similarity (MS-SSIM) performance across datasets with different resolutions compared with conventional separated source-channel coding and existing mainstream semantic communication schemes. The proposed method provides an effective solution for image semantic transmission in complex channel environments.

Keywords: semantic communication ; Swin Transformer ; channel state information ; adaptive adjustment ; generative adversarial network

PDF (1392KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

彭艺, 李恒, 杨青青, 李辉, 王健明. 基于CSI导向注意力与门控生成修复的图像语义通信. 浙江大学学报(工学版)[J], 2026, 60(12): 2694-2703 doi:10.3785/j.issn.1008-973X.2026.12.015

PENG Yi, LI Heng, YANG Qingqing, LI Hui, WANG Jianming. Image semantic communication based on CSI-guided attention and gated generation repair. Journal of Zhejiang University(Engineering Science)[J], 2026, 60(12): 2694-2703 doi:10.3785/j.issn.1008-973X.2026.12.015

6G网络下的海量非结构化数据对通信系统的带宽效率、传输时延及复杂环境下的鲁棒性提出了更高的要求[1-2]. Wang等[3]指出,6G网络预计将实现无处不在的无线智能,须支持大规模接入设备与高流量数据. 栾宏之等[4]指出,现有语义通信系统编码时间较长,无法直接应用于5G-Advanced技术框架以处理大量高实时性、低延迟数据. 传统的无线通信系统严格遵循香农分离定理[5],将信源与信道编码独立设计. 在短包传输及信道剧烈波动场景下,该架构带来显著时延,且当信道质量低于阈值时易引发“悬崖效应”,难以满足6G网络高实时、高可靠的通信需求[6-7].

关注数据“含义”而非“比特”的语义通信为突破物理极限提供了新范式[8]. 在该框架下,基于深度学习的信源信道联合编码(deep joint source-channel coding, Deep JSCC)技术通过端到端的神经网络优化,将图像直接映射为模拟信道符号[9]. Dai等[10]提出非线性变换信源信道编码,验证了该类方法在信源压缩与信道纠错深度融合方面的优势. 相较于传统数字传输,Deep JSCC在低信噪比(signal-to-noise ratio, SNR)下表现出更稳健的性能退化特性[11],且通过掩码矢量量化技术可以显著增强传输鲁棒性[12]. 早期的Deep JSCC研究主要基于卷积神经网络(convolutional neural networks, CNN)架构[9,13]. CNN在提取局部纹理特征方面表现较优,但受限于固定感受野,难以捕捉图像的长距离依赖关系,而全局信息对于理解图像整体语义至关重要.

Vision Transformer(ViT)利用自注意力机制有效建模了全局语义关联[14]. 为了兼顾计算效率与建模能力,Liu等[15]提出Swin Transformer,引入基于移动窗口的层级式注意力机制,在遥感图像语义分割任务中展现出较优性能[16-18]. WITT架构[19]和Nguyen等[20]提出的动态语义通信方案在多项重建指标上超越基于CNN的传统方案. 现有基于Transformer的传输方案在处理低SNR场景时存在局限. 多数方案以最小化均方误差(mean squared error, MSE)为训练目标,Blau等[21]在“感知-失真权衡”理论中指出,仅优化MSE易导致解码器倾向输出过度平滑、边缘模糊的图像,造成感知质量损失[22-23]. 现有的信道状态信息(channel state information, CSI)反馈机制通常仅被动用于功率缩放[24-25],缺乏根据信道状态动态调整特征提取拓扑的主动适应能力.

针对上述问题,生成式人工智能技术被引入语义通信领域[26]. Grassucci等[27]探索基于扩散模型的超可靠图像传输,Erdem等[28]研究生成式JSCC方案,杨冰等[29]将多模态语义信息用于文本生成图像任务,通过增强生成器表达能力提升细节表现. Liang等[30]提出基于Swin Transformer与GAN的语义通信系统,通过引入对抗损失显著提升图像的视觉质量. 该方法在推理阶段采用静态生成策略,即无论CSI如何波动,解码器均以固定强度进行生成式重建,未考虑直接引入GAN面临的感知-失真权衡问题:GAN生成的纹理在低SNR环境下可以提升图像清晰度,但在高SNR环境下易破坏原始图像的高保真度,导致客观指标下降.

本文提出基于Swin Transformer的CSI感知和GAN辅助(CSI-aware and GAN-assisted Swin Transformer, CAG-ST)图像语义传输方案,旨在提升典型的信噪比范围内(尤其是传统方法失效的低SNR区域)的图像重建质量. 1)提出CSI导向自注意力(CSI-guided self-attention, CGSA)机制. 将CSI映射为注意力偏置,直接注入编码器的自注意力计算中,使模型在低SNR环境下能够动态重塑特征提取拓扑,主动聚焦于抗噪性更强的语义轮廓,从根源上提升低SNR环境下的编码鲁棒性. 2)设计CSI门控GAN修复(CSI gated GAN restoration, CGGR)模块. 在解码端引入并行残差修复GAN,使用门控因子$ \alpha $进行动态调节,实现“低SNR强修复,高SNR弱介入”的自适应策略,在提升低SNR图像清晰度的同时,保持高SNR下的峰值信噪比(peak signal-to-noise ratio, PSNR)性能,解决感知-失真问题.

1. 图像语义传输系统

1.1. 系统模型

构建基于Swin Transformer的Deep JSCC系统,实现无线信道下的图像语义传输. 系统的整体架构如图1所示,主要包含语义发送端、无线信道和语义接收端3个部分. 假设输入图像为$ {\boldsymbol{x}}\in {\mathbf{R}}^{H\times W\times 3} $,其中$ H $和$ W $分别为图像的高度和宽度,3为颜色通道维度.

图 1

图 1   基于Swin Transformer的图像语义传输系统

Fig.1   Image semantic transmission system based on Swin Transformer


语义发送端的核心是基于Swin Transformer的非线性编码器$ {f}_{\text{e}}(\cdot ;{\boldsymbol{\theta }}_{\text{e}}) $. 与传统编码器不同,该编码器不仅提取图像的语义特征,还将所提取的语义特征映射为适合信道传输的模拟符号. 输入图像$ \boldsymbol{x} $被送入编码器,经过层级化的特征提取与降维,最终生成信道输入符号序列$ \boldsymbol{s}\in {\mathbf{C}}^{k} $(其中$ k $为信道符号的维度):

$ \boldsymbol{s}={f}_{\text{e}}\left(\boldsymbol{x}\right). $

系统的带宽压缩比(channel bandwidth ratio, CBR)定义为每个信源像素所占用的信道符号数$ \text{CBR}=k/\left(H\times W\times 3\right) $. 在送入信道前,$ \boldsymbol{s} $需要满足平均发射功率约束:

$ \frac{1}{k}{E}\left[{\left|\left|\boldsymbol{s}\right|\right|}^{2}\right]\leqslant P\;. $

式中:$ P $为归一化平均功率上界. 编码后的$ \boldsymbol{s} $通过无线信道进行传输. 在加性高斯白噪声(additive white Gaussian noise, AWGN)信道和Rayleigh衰落信道下进行传输实验. 接收信号$ \boldsymbol{y}\in {\mathbf{C}}^{k} $可以表示为

$ \boldsymbol{y}=h \boldsymbol{s}+\boldsymbol{n}. $

式中:$ h $为信道增益系数;n为服从复高斯分布的加性噪声向量,$ \boldsymbol{n}\sim {\rm{C}}{\rm{N}}(0,\sigma _{{\boldsymbol{n}}}^{2}\boldsymbol{I}) $,方差$ \sigma _{{\boldsymbol{n}}}^{2} $由当前SNR决定. 接收端通过导频信号估计信道状态,计算当前的SNR或信道增益系数.

语义接收端包含与编码器结构对称的解码器$ {f}_{\text{d}}(\cdot ;{\boldsymbol{\theta }}_{\text{d}}) $. 解码器从接收到的含噪模拟信号$ \boldsymbol{y} $中恢复图像,目标是最小化重建图像$ \hat{\boldsymbol{x}} $与$ \boldsymbol{x} $之间的端到端失真:

$ \hat{\boldsymbol{x}}={f}_{\text{d}}(\boldsymbol{y}). $

该系统通过联合优化编码器参数$ {\boldsymbol{\theta }}_{\text{e}} $和解码器参数$ {\boldsymbol{\theta }}_{\text{d}} $来最小化MSE损失函数:

$ {L}=\frac{1}{N}\sum \limits_{i=1}^{N}\| {\boldsymbol{x}}_{i}-{\hat{\boldsymbol{x}}}_{i}{\| }^{2}. $

1.2. Swin Transformer块

为了克服传统CNN在捕捉长距离依赖关系方面的局限性,并解决标准Transformer计算复杂度随图像分辨率二次方增长的问题,采用Swin Transformer作为图像语义特征提取和重建的基本单元.

Swin Transformer块(Swin Transformer block, STB)的核心思想是利用移动窗口机制来计算自注意力. 如图2所示,STB通常成对出现:第1个块采用基于窗口的多头自注意力(window multi-head self-attention, W-MSA),为了降低计算复杂度,W-MSA将特征图划分为若干个不重叠的局部窗口,并在每个窗口内部独立计算自注意力. 第2个块采用基于移动窗口的多头自注意力(shifted windows multi-head self-attention, SW-MSA),仅在窗口内计算注意力会阻碍跨窗口的信息交互,限制感受野. SW-MSA通过在连续的Transformer块之间循环移动窗口划分位置,实现跨窗口的特征交互,在保持线性计算复杂度的同时建立全局依赖. 在每个窗口内,自注意力的计算遵循标准缩放点积注意力机制. 给定查询$ \boldsymbol{Q} $、键$ \boldsymbol{K} $和值$ \boldsymbol{V} $矩阵,注意力矩阵的计算公式为

图 2

图 2   2个连续的Swin Transformer块

Fig.2   Two consecutive Swin Transformer blocks


$ \text{Attention}(\boldsymbol{Q},\boldsymbol{K},\boldsymbol{V})=\text{Softmax}\left(\frac{\boldsymbol{Q}{\boldsymbol{K}}^{\mathrm{T}}}{\sqrt{d}}+{\boldsymbol{B}}_{\text{pos}}\right)\boldsymbol{V}. $

式中:$ d $为缩放因子;$ {\boldsymbol{B}}_{\text{pos}} $为相对位置编码偏置,用于引入特征点之间的相对位置信息. 该层级化的设计使系统能够有效地提取图像的语义特征,为后续的信道传输奠定基础.

每个STB主要由层归一化(layernorm, LN)、MSA、多层感知机(multilayer perceptron, MLP)及残差连接组成. 对于第$ m $个块,若输入图像语义特征为$ {\boldsymbol{z}}^{m-1} $,则前向传播计算过程可以表示为

$ {\hat{\boldsymbol{z}}}^{m}=\text{W-MSA}(\text{LN}({\boldsymbol{z}}^{m-1}))+{\boldsymbol{z}}^{m-1}, $

$ {\boldsymbol{z}}^{m}=\text{MLP}(\text{LN}({\hat{\boldsymbol{z}}}^{m}))+{\hat{\boldsymbol{z}}}^{m}, $

$ {\hat{\boldsymbol{z}}}^{m+1}=\text{SW-MSA}(\text{LN}({\boldsymbol{z}}^{m}))+{\boldsymbol{z}}^{m}, $

$ {\boldsymbol{z}}^{m+1}=\text{MLP}(\text{LN}({\hat{\boldsymbol{z}}}^{m+1}))+{\hat{\boldsymbol{z}}}^{m+1}. $

Swin Transformer的标准Attention机制的特征提取拓扑是静态的,不能根据瞬时CSI动态调整对语义特征的关注重点,导致低SNR下抗噪鲁棒性不足. 现有方案多采用单一优化目标,使重建图像在纹理细节上趋于平滑和边缘模糊.

2. CSI感知双端自适应机制

为了实现图像语义特征提取对信道状态的主动适应,并解决接收端在不同SNR下对感知质量与保真度的动态需求,在标准Swin Transformer架构的基础上,提出CSI感知辅助的无线图像传输系统CAG-ST,如图3所示. 编码器利用CGSA机制,根据信道状态动态调整特征提取的注意力分布,生成鲁棒的语义隐变量. 通过含噪信道传输后,解码器恢复出包含主要语义信息的粗糙重建图像. CGGR模块根据标量SNR生成门控因子,自适应地对粗重建图像进行残差级纹理增强,输出高保真图像.

图 3

图 3   CSI感知双端自适应机制

Fig.3   CSI perception dual-end adaptive mechanism


2.1. CSI导向自注意力机制

现有的Deep JSCC方案通常仅利用CSI进行特征幅度的缩放,这种被动的适应方式并未改变神经网络提取特征的拓扑结构. 在低SNR环境下,图像的细微纹理极易被噪声淹没,此时若仍关注长距离的弱相关特征,则该特征的传输不仅效率低下,还会引入额外的解码误差. 本研究设计如图4所示的CGSA机制,通过将物理层的信道状态映射为语义层的注意力偏置,动态重塑特征提取的关注点. 通过设计轻量级映射网络$ {{M}}_{\text{bias}} $来学习信道状态与注意力分布之间的非线性关系. 该网络由2层全连接层和ReLU激活函数构成. 输入为标量SNR,输出为被重塑为与注意力头数$ {N}_{\text{h}} $和窗口大小$ M\times M $相匹配的偏置矩阵:

图 4

图 4   CGSA机制结构

Fig.4   Structure of CGSA mechanism


$ {\boldsymbol{B}}_{\text{CSI}}=\text{Reshape}\left({\boldsymbol{W}}_{2}\cdot \text{ReLU}({\boldsymbol{W}}_{1}\cdot \text{SNR}+{\boldsymbol{b}}_{1})+{\boldsymbol{b}}_{2}\right). $

式中:$ {\boldsymbol{W}}_{1} $和$ {\boldsymbol{W}}_{2} $为可学习的权重参数,$ {\boldsymbol{b}}_{1} $和$ {\boldsymbol{b}}_{2} $为CSI偏置生成网络MLP中2个全连接层的可学习偏置向量. $ {\boldsymbol{B}}_{\text{CSI}} $会根据输入图像的batch size和窗口数量进行广播,以匹配注意力图的维度. 在Swin Transformer的窗口注意力模块中,将$ {\boldsymbol{B}}_{\text{CSI}} $注入到注意力得分的计算中. 改进后的自注意力计算公式为

$ {\text{Attention}}_{\text{CAG}}=\text{Softmax}\left(\frac{\boldsymbol{Q}{\boldsymbol{K}}^{\mathrm{T}}}{\sqrt{d}}+{\boldsymbol{B}}_{\text{pos}}+{\boldsymbol{B}}_{\text{CSI}\left(\text{SNR}\right)}\right)\boldsymbol{V}. $

式中:$ {\boldsymbol{B}}_{\text{CSI}\left(\text{SNR}\right)} $为动态的信道先验. 通过CGSA机制,模型在低SNR下可学习生成具有强抑制性的偏置,切断受噪声影响严重的弱连接,聚焦于鲁棒的局部语义;在高SNR下,偏置趋于平缓,允许模型捕捉丰富的高频细节.

2.2. CSI门控GAN修复模块

针对接收端在低SNR下重建图像模糊和细节纹理丢失的问题,以及传统GAN在高SNR下易产生虚假纹理导致客观评价指标下降的矛盾,设计CGGR模块,该模块的结构如图5所示. 其中,S为卷积步长. 与直接利用GAN生成重建图像不同,该模块采用“粗糙重建+残差修复”的架构,引入CSI门控因子$ \alpha $实现按需修复. 该模块采用基于ResNet架构的生成器$ G(\cdot ) $来预测原始图像与接收端解码器生成的粗糙重建图像之间的残差$ \boldsymbol{R} $. 与用于图像分类的传统ResNet架构不同,残差生成器旨在从粗糙重建图像中挖掘丢失的高频纹理细节.

图 5

图 5   CGGR模块的结构

Fig.5   Structure of CGGR module


该生成器包含下采样、深层特征提取与上采样3个阶段. 通过1个$ 7\times 7 $卷积层和2个步长为2的下采样卷积层进行特征提取,通道数由3扩展至256. 中间层由多个串联的残差块组成,每个块包含2个$ 3\times 3 $卷积层和实例归一化(InstanceNorm)层,用于提取深层纹理特征. 通过2个转置卷积层进行上采样以恢复分辨率,再经由Tanh激活函数输出值域为$ [-1,1] $的残差图$ \boldsymbol{R} $,以增强传输模型的非线性表达能力.

为了动态调控GAN的介入程度,设计门控网络$ \pi (\cdot ) $. 该网络是3层的MLP,输入为SNR,输出为标量门控因子α($ \alpha \in [0,1.0] $):

$ \alpha \triangleq \pi (\text{SNR})=\text{Sigmoid}\left({\text{MLP}}_{\text{gate}}(\text{SNR})\right). $

最终的重建图像$ {\hat{\boldsymbol{x}}}_{\text{f}} $由粗糙图像$ {\hat{\boldsymbol{x}}}_{\text{c}} $和加权残差融合而成,并将像素值限制在$ [0,1.0] $:

$ {\hat{\boldsymbol{x}}}_{\text{f}}=\text{Clamp}\left({\hat{\boldsymbol{x}}}_{\text{c}}+\alpha \cdot G({\hat{\boldsymbol{x}}}_{\text{c}}),0,1\right). $

通过在训练损失函数中引入对$ \alpha $的稀疏正则化$ {\mathcal{L}}_{\text{reg}}\propto {\alpha }^{2} $,网络被优化以学习一种自适应策略:低SNR时增大$ \alpha $,利用GAN修复严重失真;高SNR时将$ \alpha $衰减至接近0,输出高保真度的图像,从而在全SNR范围内实现最优的感知-失真平衡. 此残差修复的设计基于Swin Transformer骨干能够很好地恢复图像的低频结构,而恢复过程中未能保留的主要是高频纹理. 这种设计使GAN专注于学习原始图像与粗糙重建图之间的差值,不仅降低模型学习难度,加速收敛,而且能够避免GAN产生的伪影破坏原有的正确语义结构.

CAG-ST系统的训练过程分为以下2个阶段. 1)预训练基于Swin Transformer的端到端图像语义传输系统,引入CGSA机制优化像素损失$ {L}_{\text{pix}} $. 2)冻结底座参数,引入CGGR模块微调GAN修复模块,使用标准PatchGAN判别器,且仅在训练阶段使用. 优化包含像素损失$ {L}_{\text{pix}} $、对抗损失$ {L}_{\text{Ag}} $和正则化项$ {L}_{\text{CSI}\_\text{Reg}} $的复合损失函数:

$ {L}_{\text{total}}={\lambda }_{1}{L}_{\text{pix}}+{\lambda }_{2}{L}_{\text{Ag}}+{\lambda }_{3}{L}_{\text{CSI}\_\text{Reg}}. $

$ {L}_{\text{pix}} $促使网络生成的图像在像素值上尽可能接近原图,$ {L}_{\text{Ag}} $用于提升图像视觉清晰度和纹理真实感,$ {L}_{\text{CSI}\_\text{Reg}} $作为惩罚项约束$ \alpha $的行为. 应合理设置损失权重$ {\lambda }_{1}\gg {\lambda }_{2} $,确保图片保真度不会因为引入GAN而崩溃,从而保证通信系统的可靠性. 权重$ {\lambda }_{3} $控制GAN介入阈值,$ {\lambda }_{3} $越大,阈值越高,网络越倾向于保守. $ {L}_{\text{total}} $的设计遵循本方案以保真为主,细节补充为辅,按需介入的原则.

3. 实验结果与分析

3.1. 实验设置

为了全面评估CAG-ST方法的性能,在不同分辨率的图像数据集和多种信道条件下进行实验,与现有的主流图像语义传输方案进行对比.

实验采用3个标准公开图像数据集,涵盖从低分辨率到高分辨率的多种场景. CIFAR-10数据集包含60 000张32×32像素的彩色图像(50 000张用于训练,10 000张用于测试),该数据集主要用于验证本研究方案在低分辨率图像上的基本特征提取与恢复能力. DIV2K数据集包含800张2040×1080分辨率的高质量图像,用于训练. 为适应显存限制并增加样本多样性,在训练过程中对图像进行随机裁剪,尺寸为256×256. Kodak数据集包含24张768×512的高清图片用作高分辨率图像传输的测试集,以评估方案在真实摄影图像上的泛化性能. 低分辨率和高分辨率图像的CBR分别设置为1/3和1/16.

将提出的CAG-ST与以下3种代表性方案进行对比. 第1种是“BPG+LDPC”,代表传统分离式编码方案,信源编码采用BPG(better portable graphics)格式,信道编码采用标准的低密度奇偶校验(low-density parity-check, LDPC)码[31],正交幅度调制(quadrature amplitude modulation, QAM)的块长度为6144. 第2种是经典的基于CNN的Deep JSCC方案[9],在给定CBR的条件下,信道输入符号维度由CBR控制,无须额外冗余. 第3种是基于Swin Transformer的经典图像语义通信方案WITT. 为了保证对比公平性,所有的JSCC方案采用相同的信道符号维度,传统数字方案通过调整信源压缩率与信道编码码率匹配目标CBR.

在2种典型的无线信道环境下进行实验,分别是AWGN信道和Rayleigh衰落信道. AWGN信道模拟加性高斯白噪声环境,主要考察方案抗噪声的能力. Rayleigh衰落信道模拟多径效应显著的非视距传输环境,考察方案在复杂衰落下的鲁棒性. 假设接收端具有完美的CSI并执行迫零均衡.

实验基于PyTorch框架实现,GPU为NVIDIA GeForce RTX 4090,使用Adam优化器,批大小设为128,训练2 000个轮次. 2个训练阶段的初始学习率均设为1.0×10−4,采用余弦退火策略衰减至1.0×10−5. 将SNR设为2~12 dB作为主要评估区间,是因为该范围涵盖了图像语义通信从强干扰向高保真过渡的核心性能变化区[19,30],测试结果足以体现本研究方案在不同信道条件下的自适应调节能力与边界鲁棒性. 对于低分辨率图像,仅使用图1中Swin Transformer编码器的前2个阶段,高分辨率图像使用完整的4个阶段.

3.2. 评价指标

为了综合衡量图像重建的保真度和感知质量,采用PSNR和多尺度结构相似性[32](multi scale structural similarity index measure, MS-SSIM)作为主要的客观评价指标. PSNR是衡量图像像素级保真度的标准指标,计算公式为

$ \text{PSNR}=10\mathrm{\lg }\left(\frac{\text{MAX}_{\text{I}}^{2}}{\text{MSE}}\right). $

式中:$ {\text{MAX}}_{\text{I}} $为像素最大值,通常为255. PSNR越大,表示图像传输失真越小,这通常通过最小化MSE来实现. 通常在对传输图像进行重建时,PSNR > 30 dB的重建图像与原始图像的差异处于合理范围之内,可以认为重建效果较好.

结构相似性(structural similarity index measure, SSIM)是衡量图像之间相似度的指标,从亮度、对比度和结构3个分量分别进行计算. 与仅计算像素点差异的PSNR相比,SSIM更关注图像的属性,尤其是捕捉人眼对物体结构信息的感知能力. 与SSIM相比,MS-SSIM综合考虑了不同观察距离或分辨率下的亮度、对比度和结构信息,更符合人眼视觉系统的感知特性. MS-SSIM的值范围为$ [0,1.0] $,值越接近1.0表示图像在结构和纹理上与原图越相似.

3.3. 结果分析

图6展示了Kodak和CIFAR-10数据集在AWGN信道和Rayleigh衰落信道下,上述各传输方案的图像重建质量指标PSNR随SNR的变化情况. 从图6(a)可知,高分辨率图像在AWGN信道下,提出的CAG-ST方案在SNR=2 dB时达到了31.21 dB的PSNR,相较于WITT方案提升了1.02 dB,相较于Deep JSCC提升了2.62 dB. 这表明传统注意力机制易被强噪声干扰,导致有效特征提取能力下降. CAG-ST引入的CGSA机制将信道偏置项注入传统自注意力计算,利用信道状态先验抑制长距离的噪声关联,使编码器聚焦于抗噪性更强的局部轮廓特征,从而有效补偿信道噪声带来的失真. 随着SNR提升至12 dB,CAG-ST方案依然保持了最优性能,略优于WITT,验证了含有门控机制的GAN在高SNR下对保真度的有效维护. 从图6(b)可以看出,在更复杂的Rayleigh衰落信道下,提出的CAG-ST方案具有更优的鲁棒性. 当SNR = 2 dB时,CAG-ST的PSNR达到29.81 dB,优于WITT和Deep JSCC方案. BPG+LDPC方案由于无法纠正超出设计能力的误码,在此条件下失效,出现了严重的“悬崖效应”. 相比之下,端到端的JSCC方案仍能维持有效的图像传输. 图6(c)、(d)表现出即使在低分辨率数据集上,CAG-ST方案在全SNR范围内也都优于WITT和Deep JSCC方案. 结果表明,CAG-ST方案通过自适应的特征提取和生成式修复,在信道干扰严重的环境中展现出优于现有主流图像语义传输方案的适应性与鲁棒性. 在高SNR环境下,信道噪声导致的语义特征损坏较少,模型能够恢复更多的纹理细节,使得重建图像质量接近原始图像.

图 6

图 6   不同传输方案重建图像的PSNR随信噪比的变化曲线

Fig.6   PSNR curves of reconstructed images by different transmission schemes varying with signal-to-noise ratio


除像素级保真度指标PSNR外,还采用MS-SSIM来评估重建图像的感知质量. MS-SSIM能够更客观地反映人眼对图像结构、对比度和亮度变化的敏感度,该指标对于衡量GAN生成纹理的真实性尤为关键. 在AWGN信道下,传输Kodak数据集的MS-SSIM性能曲线如图7所示. 实验结果表明,不同传输方案的MS-SSIM性能均随SNR的增大而提升,但CAG-ST方案在典型的信噪比范围内均保持了领先优势. 这种结构相似性的显著提升归功于CAG-ST方案在发送端利用CGSA机制保护关键结构特征,在接收端利用CGGR依据残差先验填补受损纹理细节,从而在极低信噪比下依然能够重建出结构自然且视觉逼真的图像.

图 7

图 7   不同传输方案重建图像的MS-SSIM随信噪比的变化曲线

Fig.7   MS-SSIM curves of reconstructed images by different transmission schemes varying with signal-to-noise ratio


为了直观评估在人眼感知层面的重建效果,选取Kodak数据集中的典型场景(包含丰富纹理细节的石墙建筑和具有复杂图案的壁画房屋),在AWGN信道、SNR=2 dB条件下进行可视化对比. 图8展示了WITT方案和CAG-ST方案的重建结果与原始图像的视觉对比,并附有对应的评价指标. 从第1行的石墙建筑图像可以看出,WITT方案重建图像呈现出明显过度平滑的现象,墙面的砖块纹理模糊不清,门上的条纹细节几乎没有体现,缝隙细节丢失严重,这是采用单一优化目标带来的影响. 相比之下,仅引入CSI导向自注意力机制的CAG-ST(CGSA)方案在结构轮廓上有所改善,PSNR和MS-SSIM值均有提升,这表明编码器能够更有效地捕捉语义特征. CAG-ST方案通过引入CSI门控GAN修复模块,恢复石墙的高频纹理细节,砖块边缘清晰,视觉观感进一步提升. 第2行的壁画房屋图像进一步验证了这一结论. 在处理壁画中复杂的人物图案时,WITT的重建结果出现严重的涂抹感,人物面部及肢体细节难以辨认,CAG-ST方案则展现出强大的生成式修复能力,更加清晰地重建壁画中的线条细节,在低SNR下有效解决了重建图像模糊的问题,实现了感知识别度与像素保真度的双重提升.

图 8

图 8   不同方案传输Kodak数据集典型场景的视觉对比

Fig.8   Visual comparison of typical scenarios for transmitting Kodak dataset using different schemes


为了验证CAG-ST方案中CGSA机制与CGGR模块的有效性,通过消融实验加以检验. 在Kodak数据集下的AWGN信道中,测试本研究的5种不同方案变体,如表1所示. 从图9、10的消融实验结果可知,CAG-ST(CGSA)仅对编码器进行改进,在全SNR范围下,CAG-ST的PSNR和MS-SSIM较WITT方案均有提升,这表明通过将CSI映射为注意力偏置注入Transformer中,编码器能够根据信道状态动态优化特征提取拓扑. 此外,CAG-ST(CGGR,$ \alpha $)可以视为基线方案WITT. 通过对比CAG-ST(CGGR,$ \alpha $+GAN)、CAG-ST(CGGR,GAN)和WITT,充分展现GAN修复与门控机制所带来的影响,在低SNR下,上述引入GAN的2个变体方案均表现出色,在多项指标上相比WITT均有不同程度的提升. 当信道噪声严重破坏图像时,GAN能够利用先验知识有效弥补丢失的高频纹理,显著提升感知质量. 从CAG-ST(CGGR,GAN)的性能变化曲线可知,虽然在低SNR下客观指标提升明显,但在SNR=12 dB下,其PSNR值较WITT下降了约0.5 dB,MS-SSIM值也有所下降. 这是由于在信道条件良好和原始图像细节本应保留完好的情况下,若不加以约束,GAN会生成与原图不完全匹配的虚假纹理,导致客观保真度指标下降. 仅在解码端引入完整CGGR模块的CAG-ST(CGGR, α+GAN)变体,最终重建结果表明,门控机制在高SNR下抑制了GAN的过度修复,避免了性能倒退. 结合CGSA机制和CGGR模块的完整CAG-ST方案,实现了全SNR范围内的性能领先. 该消融实验有效验证了提出的双端自适应机制的合理性与必要性.

表 1   CAG-ST方案的不同变体

Tab.1  Different variants of CAG-ST scheme

方案变体描述
CAG-ST本研究提出的完整方案,同时包含CGSA机制和CGGR模块.
CAG-ST(CGSA)在基线基础上,仅在编码端引入CSI导向自注意力机制.
CAG-ST(CGGR,$ \alpha $+GAN)在基线基础上,仅在解码端引入完整的CGGR模块.
CAG-ST(CGGR,$ \alpha $)CGGR模块移除GAN仅保留CSI门控机制,且编码端不含CGSA机制.
CAG-ST(CGGR,GAN)CGGR模块移除CSI门控机制仅保留GAN,且编码端不含CGSA机制.

新窗口打开| 下载CSV


图 9

图 9   不同CAG-ST变体的重建图像PSNR随信噪比的变化曲线    

Fig.9   PSNR curves of reconstructed images for different variants of CAG-ST varying with signal-to-noise ratio


图 10

图 10   不同CAG-ST变体的重建图像MS-SSIM随信噪比的变化曲线

Fig.10   MS-SSIM curves of reconstructed images for different variants of CAG-ST varying with signal-to-noise ratio


在AWGN信道下对不同方案的复杂度进行测试和对比,从Kodak数据集随机选取20张图片,大小统一预处理为256像素×256像素进行测试,记录每张图像的平均编码和解码时长. 表2展示了基于JSCC的各传输方案在模型参数量Np、每秒浮点运算次数(floating point operations per second, FLOPs)以及端到端延迟方面的数据. 其中,ten为编码时长,tde为解码时长. 实验结果表明,提出的CAG-ST方案在显著提升图像感知质量的同时,依然保持着具有竞争力的推理效率,这验证了Swin Transformer架构在处理高分辨率图像语义特征提取时的计算优势. 从WITT与CAG-ST(CGSA)的对比可知,引入CGSA机制后,编码器参数量增加了约9.3×106,编码时长仅增加了1.68 ms. 这表明CGSA模块虽然增加了部分参数量,但作为轻量级的注意力偏置生成网络,该模块对编码实时性的影响很小. 对比CAG-ST(CGSA)与CAG-ST,编码时长保持不变,解码时长增加5.69 ms,FLOPs增加34.61×109,该增长主要源于解码端引入的CGGR模块. 虽然GAN带来了一定的计算负担,但CAG-ST的总延迟仍显著低于Deep JSCC. CAG-ST方案通过非对称的复杂度分配策略,在编码端以较低的计算代价实现了信道自适应特征提取,在解码端利用GAN提升重建质量. 尽管参数量和FLOPs较WITT有所增加,但推理速度仍处于ms级,能够满足6G网络下对低时延、高质量图像语义通信的实际应用需求.

表 2   不同传输方案的复杂度测试

Tab.2  Complexity testing of different transmission schemes

传输方案Np/106FLOPs/109ten/mstde/ms
Deep JSCC15.8153.4348.2667.48
WITT28.233.617.519.39
CAG-ST(CGSA)37.5341.379.199.72
CAG-ST45.4775.989.1915.41

新窗口打开| 下载CSV


4. 结 语

面向无线信道下的图像语义传输,提出融合信道状态感知与生成式修复的增强型语义通信方案. 该方案在编码端构建CSI与特征提取的非线性映射,实现鲁棒语义特征的主动提取. 在解码端引入门控生成式修复机制,有效应对感知质量与像素保真度之间的权衡问题. 实验表明,采用所提的双端自适应机制,有效提升了图像重建的结构一致性与视觉感知效果,综合性能优于现有的主流传输方案. 未来研究将致力于进一步轻量化模型结构以适配边缘设备和山区无人机的应急通信计算资源约束,并探索该方案在复杂通信环境下对视频流和多模态数据传输的拓展应用.

参考文献

Tong W, Zhu P. 6G: the next horizon [M]. Cambridge: Cambridge University Press, 2021.

[本文引用: 1]

Letaief K B, Chen Wei, Shi Yuanming, et al

The roadmap to 6G: AI empowered wireless networks

[J]. IEEE Communications Magazine, 2019, 57 (8): 84- 90

DOI:10.1109/MCOM.2019.1900271      [本文引用: 1]

Wang Y, Han H, Feng Y, et al

Semantic communication empowered 6g networks: techniques, applications, and challenges

[J]. IEEE Access, 2025, 13: 28293- 28314

DOI:10.1109/ACCESS.2025.3532797      [本文引用: 1]

栾宏之, 李书才, 李屹, 等

5G-A车联网确定性网络中的语义通信系统

[J]. 浙江大学学报(工学版), 2025, 59 (5): 964- 972

[本文引用: 1]

Luan Hongzhi, Li Shucai, Li Yi, et al

Semantic communication system in deterministic networking for5G-advanced vehicular network

[J]. Journal of Zhejiang University (Engineering Science), 2025, 59 (5): 964- 972

[本文引用: 1]

Shannon C E

A mathematical theory of communication

[J]. The Bell System Technical Journal, 1948, 27 (3): 379- 423

DOI:10.1002/j.1538-7305.1948.tb01338.x      [本文引用: 1]

Zhang P, Xu W, Gao H, et al

Toward wisdom-evolutionary and primitive-concise 6G: a new paradigm of semantic communication networks

[J]. Engineering, 2022, 8: 60- 73

DOI:10.1016/j.eng.2021.11.003      [本文引用: 1]

Fang Y, He Q, Ding D, et al. Deep-learning based gaussian mixture likelihoods joint source-channel coding for image transmission [C]//2023 International Conference on Wireless Communications and Signal Processing. Hangzhou: IEEE, 2023: 19-24.

[本文引用: 1]

Gündüz D, Qin Z, Aguerri I E, et al

Beyond transmitting bits: context, semantics, and task-oriented communications

[J]. IEEE Journal on Selected Areas in Communications, 2023, 41 (1): 5- 41

DOI:10.1109/JSAC.2022.3223408      [本文引用: 1]

Bourtsoulatze E, Kurka D B, Gündüz D

Deep joint source-channel coding for wireless image transmission

[J]. IEEE Transactions on Cognitive Communications and Networking, 2019, 5 (3): 567- 579

DOI:10.1109/TCCN.2019.2919300      [本文引用: 3]

Dai J, Wang S, Tan K, et al

Nonlinear transform source-channel coding for semantic communications

[J]. IEEE Journal on Selected Areas in Communications, 2022, 40 (8): 2300- 2316

DOI:10.1109/JSAC.2022.3180802      [本文引用: 1]

Park T, Hong E, Jeon Y, et al. Robust deep joint source channel coding for task-oriented semantic communications [PP/OL]. arXiv (2025-03-17)[2025-11-15]. https://arxiv.org/abs/2503.12907.

[本文引用: 1]

Hu Q, Zhang G, Qin Z, et al

Robust semantic communications with masked VQ-VAE enabled codebook

[J]. IEEE Transactions on Communications, 2023, 22 (12): 8707- 8722

[本文引用: 1]

Kurka D B, Gündüz D

DeepJSCC-f: deep joint source-channel coding of images with feedback

[J]. IEEE Journal on Selected Areas in Information Theory, 2020, 1 (1): 178- 193

DOI:10.1109/JSAIT.2020.2987203      [本文引用: 1]

Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16×16 words: Transformers for image recognition at scale [PP/OL]. arXiv (2020-10-22)[2025-11-15]. https://arxiv.org/abs/2010.11929.

[本文引用: 1]

Liu Z, Lin Y, Cao Y, et al. Swin transformer: hierarchical vision transformer using shifted windows [C]// IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 10012-10022.

[本文引用: 1]

张振利, 胡新凯, 李凡, 等

基于 CNN 和 Efficient Transformer 的多尺度遥感图像语义分割算法

[J]. 浙江大学学报(工学版), 2025, 59 (4): 778- 786

[本文引用: 1]

Zhang Zhenli, Hu Xinkai, Li Fan, et al

Semantic segmentation algorithm for multiscale remote sensing images based on CNN and Efficient Transformer

[J]. Journal of Zhejiang University (Engineering Science), 2025, 59 (4): 778- 786

[本文引用: 1]

刘春娟, 乔泽, 闫浩文, 等

基于多尺度互注意力的遥感图像语义分割网络

[J]. 浙江大学学报(工学版), 2023, 57 (07): 1335- 1344

Liu Chunjuan, Qiao Ze, Yan Haowen, et al

Semantic segmentation network for remote sensing image based on multi-scale mutual attention

[J]. Journal of Zhejiang University (Engineering Science), 2023, 57 (07): 1335- 1344

梁龙学, 贺成龙, 吴小所, 等

全局信息提取与重建的遥感图像语义分割网络

[J]. 浙江大学学报(工学版), 2024, 58 (11): 2270- 2279

[本文引用: 1]

Liang Longxue, He Chenglong, Wu Xiaosuo, et al

Remote sensing image semantic segmentation network based on global information extraction and reconstruction

[J]. Journal of Zhejiang University (Engineering Science), 2024, 58 (11): 2270- 2279

[本文引用: 1]

Yang K, Wang S, Dai J, et al. WITT: a wireless image transmission transformer for semantic communications [C]// 2023 IEEE International Conference on Acoustics, Speech and Signal Processing. Rhodes: IEEE, 2023: 1-5.

[本文引用: 2]

Nguyen L X, Tun Y L, Tun Y K, et al

Swin transformer-based dynamic semantic communication for multi-user with different computing capacity

[J]. IEEE Transactions on Vehicular Technology, 2024, 73 (6): 8957- 8972

DOI:10.1109/TVT.2024.3362328      [本文引用: 1]

Blau Y, Michaeli T. The perception-distortion tradeoff [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 6228-6237.

[本文引用: 1]

Ledig C, Theis L, Huszár F, et al. Photo-realistic single image super-resolution using a generative adversarial network [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 4681–4690.

[本文引用: 1]

Agustsson E, Minnen D, Toderici G, et al

Generative adversarial networks for extreme learned image compression

[J]. IEEE Transactions on Image Processing, 2020, 29: 2752- 2763

[本文引用: 1]

Zhang G, Hu Q, Cai Y, et al. Adaptive CSI feedback for deep learning-enabled image transmission [C]// IEEE International Conference on Communications. Rome: IEEE, 2023: 4163-4168.

[本文引用: 1]

Song M, Ma N, Dong C, et al

Deep joint source-channel coding for wireless image transmission with adaptive models

[J]. Electronics, 2023, 12 (22): 4637

DOI:10.3390/electronics12224637      [本文引用: 1]

Liang C, Du H, Sun Y, et al

Generative AI-driven semantic communication networks: architecture, technologies and applications

[J]. IEEE Transactions on Cognitive Communications and Networking, 2024, 11 (1): 27- 47

DOI:10.1109/tccn.2024.3435524      [本文引用: 1]

Grassucci E, Barbarossa S, Comminiello D. Generative semantic communication: diffusion models beyond bit recovery [PP/OL]. arXiv (2023-06-07)[2025-11-15]. https://arxiv.org/abs/2306.04321.

[本文引用: 1]

Erdem E, Gündüz D, Dragotti P L, et al

Generative joint source-channel coding for semantic image transmission

[J]. IEEE Journal on Selected Areas in Communications, 2023, 41 (8): 2645- 2657

DOI:10.1109/JSAC.2023.3288243      [本文引用: 1]

杨冰, 周家辉, 姚金良, 等

基于多模态语义信息的文本生成图像方法

[J]. 浙江大学学报(工学版), 2026, 60 (2): 1- 10

[本文引用: 1]

Yang Bing, Zhou Jiahui, Yao Jinliang, et al

Text-to-image generation method based on multimodal semantic information

[J]. Journal of Zhejiang University (Engineering Science), 2026, 60 (2): 1- 10

[本文引用: 1]

Liang W, Ma N, Shen L, et al. An image semantic communication system based on Swin Transformer and generative adversarial networks [C]// 2024 IEEE Globecom Workshops. Cape Town: IEEE, 2024: 1-6.

[本文引用: 2]

Richardson T, Kudekar S

Design of low-density parity check codes for 5G new radio

[J]. IEEE Communications Magazine, 2018, 56 (3): 28- 34

DOI:10.1109/MCOM.2018.1700839      [本文引用: 1]

Wang Z, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality assessment [C]// Conference Record of the 37th Asilomar Conference on Signals, Systems and Computers. Pacific Grove: IEEE, 2003: 1398–1402.

[本文引用: 1]

/

〈 〉