浙江大学学报(工学版), 2026, 60(11): 2462-2471 doi: 10.3785/j.issn.1008-973X.2026.11.015

计算机技术

基于Swin Transformer的图像多级语义MIMO传输

彭艺,, 李恒, 杨青青, 李辉, 王健明

1. 昆明理工大学 信息工程与自动化学院,云南 昆明 650031

2. 昆明理工大学 云南省计算机重点实验室,云南 昆明 650500

Multilevel semantic MIMO transmission of images based on Swin Transformer

PENG Yi,, LI Heng, YANG Qingqing, LI Hui, WANG Jianming

1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650031, China

2. Yunnan Provincial Key Laboratory of Computer Science, Kunming University of Science and Technology, Kunming 650500, China

收稿日期: 2025-09-6  

基金资助: 国家自然科学基金资助项目(62461030);云南省基础研究重点项目(202401AS070105);云南省基础研究面上项目(202401AT070415);中央引导地方科技发展专项资金项目(202607AD040003).

Received: 2025-09-6  

Fund supported: 国家自然科学基金资助项目(62461030);云南省基础研究重点项目(202401AS070105);云南省基础研究面上项目(202401AT070415);中央引导地方科技发展专项资金项目(202607AD040003).

作者简介 About authors

彭艺(1975—),女,教授,博士,从事无线通信,认知无线电技术、协作通信研究.orcid.org/0009-0004-3389-0254.E-mail:12309214@kust.edu.cn , E-mail:12309214@kust.edu.cn

摘要

语义通信在低信噪比(SNR)环境下易丢失细节,MIMO系统应用时接收端语义信息的模糊与畸变问题加剧. 为此,提出MIMO系统下基于Swin Transformer的图像多级语义特征自适应融合的传输方案. Swin Transformer作为骨干网络提取像素语义特征,引入多级语义特征自适应融合机制,联合像素级细节与标签级文本语义信息,生成紧凑且全局关联的语义表征,增强低SNR条件下图像重建能力. 通过Transformer预编码技术增强语义-信道联合优化,抑制多用户干扰并提升低SNR下的语义保真度. 实验结果表明,4×4 MIMO场景下SNR为0 dB时,所提方案较JPEG2000、BPG和Deep JSCC在峰值信噪比(PSNR)上分别提升3.06倍、4.55倍和62.97%,在结构相似性(SSIM)上分别提升2.79倍、4.46倍和42.59%,表现出更优的重建图像质量.

关键词: 语义通信 ; Swin Transformer ; MIMO系统 ; 多级语义特征融合 ; 图像重建

Abstract

Semantic communication tends to lose details in low signal-to-noise ratio (SNR) environments, and the application of MIMO systems further increases the ambiguity and distortion of semantic information at the receiver. Therefore, a transmission scheme for image multilevel semantic feature adaptive fusion based on Swin Transformer was proposed for MIMO systems. The Swin Transformer was employed as the backbone network to extract pixel-level semantic features. A multilevel semantic feature adaptive fusion mechanism was introduced to integrate pixel-level details and label-level text semantic information, generating a compact and globally correlated semantic representation to enhance image reconstruction under low SNR conditions. On this basis, Transformer precoding technology was applied to improve semantic-channel joint optimization, suppress multi-user interference, and enhance semantic fidelity under low SNR. Experimental results show that in a 4×4 MIMO scenario at an SNR of 0 dB, the proposed scheme outperforms JPEG2000, BPG, and Deep JSCC by 3.06 times, 4.55 times, and 62.97% in peak signal-to-noise ratio (PSNR), and by 2.79 times, 4.46 times, and 42.59% in structural similarity index measure (SSIM), respectively, demonstrating superior reconstructed image quality.

Keywords: semantic communication ; Swin Transformer ; MIMO system ; multilevel semantic feature fusion ; image reconstruction

PDF (1267KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

彭艺, 李恒, 杨青青, 李辉, 王健明. 基于Swin Transformer的图像多级语义MIMO传输. 浙江大学学报(工学版)[J], 2026, 60(11): 2462-2471 doi:10.3785/j.issn.1008-973X.2026.11.015

PENG Yi, LI Heng, YANG Qingqing, LI Hui, WANG Jianming. Multilevel semantic MIMO transmission of images based on Swin Transformer. Journal of Zhejiang University(Engineering Science)[J], 2026, 60(11): 2462-2471 doi:10.3785/j.issn.1008-973X.2026.11.015

随着超大规模多输入多输出(multiple-input multiple-output, MIMO)系统的广泛部署,计算复杂性和控制开销增加,传统通信方法依赖逐比特精确传输模式,系统在面对复杂信道条件时,难以兼顾传输质量与资源效率. 在图像传输领域,传统图像压缩编码方法在低信噪比(signal-to-noise ratio, SNR)环境下易因量化失真而导致细节丢失;MIMO系统的信道矩阵维度更高,信道状态更难估计与补偿,接收端重建图像时的模糊与畸变问题加剧. 基于端到端优化神经网络或深度学习的联合信源信道编码(deep joint source-channel coding,Deep JSCC)方法已成为语义通信领域的活跃研究对象,其图像传输性能超越经典基于分离式的方法,如JPEG、JPEG2000和BPG等[1-2].

Weaver对基于经典信息论[3]的通信体系进行补充,将通信问题从整体上划分为语法、语义和语用3个层次[4]. 与以实现比特数据无差错传输为目标的语法通信方式不同,语义通信的核心思想是追求语义保真度,而非最小化位错误或符号错误率[5]. 在图像传输任务中,语义通信更关注图像中目标的语义结构、纹理特征与上下文关系的保真度,从而提升重建图像的感知质量与可理解性[6],使得图像语义通信在资源受限的无线环境中展现出显著优势.

基于端到端深度学习的数据传输已成为语义通信领域的主要研究方向. Deep JSCC方法通常以CNN为骨干网络. CNN捕捉图像中长距离语义关联的能力受局部感受野的限制,在捕捉全局上下文信息方面存在不足,可能丢失在特征提取过程中对语义理解至关重要的结构性特征信息[7-8]. ViT(Vision Transformer)通过窗口注意力机制直接应用于图像块序列,相较于传统CNN模型,经过JFT-300M预训练的ViT-H/14在ImageNet上准确率为88.55%,超过CNN基线模型如BiT和Noisy Student[9]. 典型的ViT通过全局自注意力机制对图像块序列建模,在ImageNet和COCO基准上性能领先[9-10],为图像语义传输和图像处理领域的后续研究提供了重要参考. ViT在处理高维数据或长序列时,随着序列长度$ N $的增加,计算复杂度呈平方增长[11],使得计算成本显著增加. Liu等[12]提出具有层次设计的Swin Transformer局部窗口注意力机制,将图像分阶段处理,逐步降低分辨率并增加特征维度,类似于CNN的多尺度特性,同时限制注意力计算仅在局部窗口内进行,从而将ViT的二次复杂度降至线性复杂度,显著减少了计算所需资源,提高了计算效率.

单输入单输出(single-input single-output, SISO)的天线传输系统在一定程度上限制了数据传输速率. MIMO通过空间复用和多径传输机制实现更高的数据吞吐量和鲁棒性,但多用户干扰与信道状态动态变化为图像语义信息的稳定传输带来了新的挑战. Liang等[13]提出基于奇异值分解的MIMO瑞利衰落(Rayleigh fading)信道上的语义重要性感知系统,以最大限度地提高语义性能. 有研究者提出在基于Deep JSCC的MIMO信道中使用Transformer预编码方法传输图像语义信息,减少天线间的干扰[14]. 目前缺少将预编码方法和基于Swin Transformer的语义编码器相结合的图像语义传输方案. Li等[15-16]将MIMO衰落信道上的信道状态信息(channel state information,CSI)作为语义特征提取器的侧信息,辅助增强语义编码,提升图像语义信息的稳定传输. 由于在MIMO系统中CSI反馈开销较大,在基于Swin Transformer的图像多级语义MIMO传输中,结合预编码方法优化端到端传输是值得探究的方向.

本研究提出MIMO系统下基于Swin Transformer的图像多级语义特征自适应融合的传输方案:1)在发射端采用Swin Transformer模块对原始图像执行多尺度处理,通过局部窗口注意力机制实现像素级语义特征提取;2)利用Word2Vec模型将离散的图像类别标签文本信息映射为连续文本语义向量;3)通过自适应权重融合机制整合不同维度的特征信息,构建出紧凑而完备的联合语义表征;4)通过Transformer预编码器,根据语义特征和MIMO信道状态学习预编码映射,以抑制空间干扰并实现联合优化.

1. 语义通信系统

如图1所示,传统数字通信系统基于香农信息论框架,以比特级精确传输为目标,着重保障信息的无差错传递. 该系统先利用信源编码实现数据压缩,继而通过信道编码(如LDPC码和Turbo码)引入冗余,抵御瑞利衰落或加性高斯白噪声(additive white Gaussian noise, AWGN)的信道干扰,最终经由调制技术将信号适配至物理信道进行传输. 接收端通过与编码过程相对应的逆操作,包括信道解码、解调及信源解码完成原始信息的重构.

图 1

图 1   传统数字通信方案

Fig.1   Traditional digital communication solution


图像包含多层级语义信息,底层语义主要保留图像的像素细节与颜色分布,以维持基本视觉保真度;中层语义侧重目标轮廓、纹理特征与空间结构的建模,有助于重构时恢复目标形态与相对位置;高层语义融合图像文本描述与外部先验知识,形成具有抽象推理能力的语义表征[17]. 通过提取图像的语义信息,利用预构建的语义知识库将图像内容进行语义映射并进行传输的方案如图2所示. 在理论上,语义知识库可通过预训练的图神经网络存储跨模态语义关联规则,指导各层级特征的编码权重分配与冗余压缩. 在理想传输过程中,系统将根据信道状态动态调整层级间的带宽分配策略:在低信噪比条件下优先传输高层抽象语义,以确保核心信息的可理解性;在高带宽环境下,传输中层的结构化细节以提升重建质量[18-19]. 接收端结合语义知识库推理能力,通过跨层级特征融合实现端到端语义恢复,显著降低对传统像素级重建的依赖. 这一多层级机制不仅提升了图像语义通信的鲁棒性,还通过知识驱动的自适应压缩,在有限码长下实现语义熵的最小化[20].

图 2

图 2   图像语义传输方案及语义知识库映射

Fig.2   Image semantic transmission scheme and semantic knowledge base mapping


如图3所示,常见的基于神经网络的图像语义通信系统以语义保真度为优化目标,强调传输对视觉理解中关键的语义信息(如目标轮廓和纹理关联性). 神经网络进行原始数据的多层级语义特征提取,并利用信源信道联合编码的优势,将提取的语义信息在有限码长的情况下直接映射到信道符号. 该方法通过自适应信道条件,实现端到端的高效通信系统.

图 3

图 3   基于神经网络的图像语义通信系统

Fig.3   Image semantic communication system based on neural networks


2. 图像多级语义MIMO传输方案

在基于CNN的Deep JSCC图像语义传输方案中,CNN的局部感受野限制了CNN捕捉图像中长距离语义关联的能力. 为了降低ViT由于全局自注意力机制带来计算成本显著增加的问题,本研究提出基于Swin Transformer的图像多级语义信息MIMO传输,为6G通信系统中的高效语义传输提供新的技术方案.

2.1. 系统模型

如图4所示,所提图像语义通信方案由待传输的图像群、语义特征编解码器、基于Transformer的预编码器和相对应解码器组成. 在发送端,待传输的$ m $个信源图像$ \boldsymbol{I}_i=[{\boldsymbol{I}}_{1},{\boldsymbol{I}}_{2},\cdots ,{\boldsymbol{I}}_{m-1},{\boldsymbol{I}}_{m}] $经过具有$ N_\mathrm{t} $根发送天线和$ N_\text{r} $根接收天线的$ {N}_{\mathrm{t}}\times {N}_{\mathrm{r}} $MIMO通信系统被传输至接收端. 具体而言,$ {\boldsymbol{I}}_{i}\in {\mathbf{R}}^{h\times w\times c} $为输入的单个信源图像,其中$ h $、$ w $和$ c $分别为图像高度、宽度和色彩通道数. $ {\boldsymbol{I}}_{i} $由以Swin Transformer为骨干网络的语义编码器提取的像素语义特征向量记为

图 4

图 4   图像语义通信MIMO系统

Fig.4   Image semantic communication MIMO system


$ \boldsymbol{F}_\text{ip}={{\phi }}_{\theta_{\mathrm{e}}}(\boldsymbol{I}_i). $

式中:$ {{\phi }}_{\theta _\text{e}}(\cdot ) $为语义编码器函数,$ \theta _\text{e} $为编码器中的网络参数. 如图5所示,在Swin Transformer语义编解码器结构中,$ {\boldsymbol{I}}_{i} $被分割为若干不重叠的像素块,经过线性嵌入层送入连续多个Swin Transformer块连接的模块中,提取如图像边缘和纹理信息的像素特征,此过程称为“第一阶段”. 在Swin Transform块中进行层归一化操作,对输入特征的每个通道进行横向规范化,确保特征值具有零均值和单位方差,减少计算过程中的内部协变量偏移,再通过窗口多头自注意力(window multi-head self-attention,W-MSA)机制,实现窗口分区的移动,增强全局信息提取能力,限制注意力计算范围,降低计算复杂度. 多层感知机(multi-layer perceptron, MLP)对语义特征进一步映射和整合. 随着网络的深入,第一阶段的输出进入第二阶段的分割合并层中进行像素块合并,得到的具有更高分辨率的像素块被送入第二个多级Swin Transform块中. 通过此方式提取得到信源图像的像素语义特征向量$ \boldsymbol{F}_\text{ip} $. 将最终提取到的语义特征向量$ {\boldsymbol{F}}_{i} $传送至基于Transformer的编码器中进行预编码. 在系统发射端可获得完备瞬时信道状态信息(channel state information, CSI)下,对发射天线执行等功率分配. 信源信号$ \boldsymbol{S}_X= [{\boldsymbol{S}}_{1}, {\boldsymbol{S}}_{2},\cdots ,{\boldsymbol{S}}_{{N}_{\mathrm{t}}}] $被传送至无线信道中进行传输. $ \boldsymbol{S}_X $经过MIMO系统后在接收端得到$ \boldsymbol{S}_Y $,

图 5

图 5   语义编码器结构及连续Swin Transformer块结构

Fig.5   Semantic encoder structure and continuous Swin Transformer block structure


$ \boldsymbol{S}_Y=\boldsymbol{HS}_X+\boldsymbol{S}_\text{n}. $

式中:$ \boldsymbol{S}_\text{n} $为来自AWGN信道环境中的噪声分量,均值和方差分别为0和$ \sigma _{n}^{2} $,记作$ \boldsymbol{S}_\text{n}\sim {{\mathrm{N}}}(0,\sigma _{n}^{2}{\boldsymbol{I}}) $;$ \boldsymbol{H} $为MIMO系统配置为$ {N}_{\mathrm{t}}\times {N}_{\mathrm{r}} $的信道增益矩阵,建模公式[21]为

$ \boldsymbol{H}(t)=\boldsymbol{R}_{\mathrm{r}}^{1/2}\boldsymbol{H}_\text{i.i.d.}(t)\boldsymbol{R}_{\mathrm{t}}^{1/2}. $

其中$ \boldsymbol{R}_\mathrm{t}\in {\mathbf{C}}^{{{N}_{\mathrm{t}}}\times {{N}_{\mathrm{t}}}} $和$ {\boldsymbol{R}}_{\text{r}}\in {\mathbf{C}}^{{{N}_{\mathrm{r}}}\times {{N}_{\mathrm{r}}}} $分别为发射端和接收端空间相关矩阵,由系数$ {\rho }_{\text{t}} $和$ {\rho }_{\text{r}} $控制生成,理想情况下系数接近0,天线间完全独立;$ \boldsymbol{H}_\text{i.i.d.}(t) $为服从均值为0,方差为$ \sigma _{h}^{2} $的独立同分布复高斯随机矩阵,记作$ \boldsymbol{H}\sim {{\mathrm{N}}}\left(0,\sigma _{h}^{2}{\boldsymbol{I}}\right) $. 输出信号$ \boldsymbol{S}_Y $在接收端接收到含噪语义特征向量$ \boldsymbol{F}_{i}^{\prime} $,通过在语义解码器中采用与编码函数相匹配的解码函数$ {\varphi }_{\theta _\text{d}}(\cdot ) $,接收信号被映射为重建的原始图像:

$ \boldsymbol{I}_{i}^{\prime}={\varphi }_{\theta_ \text{d}}\left(\boldsymbol{F}_{i}^{\prime}\right). $

2.2. 多级图像语义特征融合

高层级语义信息融合图像文本描述与外部先验知识,具有抽象推理能力;低层级语义信息包括图像的局部细节语义特征[22]. BERT、CLIP和Word2Vec等词嵌入模型已被广泛用于自然语言处理,这些模型均能将离散文本映射到连续的语义空间,为多级语义特征融合提供文本侧表征. BERT与CLIP的语义特征提取表达能力更强,却总是伴随较高的参数量和推理延迟;Word2Vec为静态词表结构,兼具平衡性能-复杂度优势.

如图6所示,本研究提出的嵌入语义编码器中的多级语义特征提取器包括高层级标签文本特征模块和低层级像素特征模块,不同模块负责提取不同层级的图像语义信息. 标签文本特征模块基于Word2Vec模型[23],将不同图像的离散类别标签文本信息映射为连续的文本语义特征向量$ \boldsymbol{F}_\text{iw} $. 为了解决$ \boldsymbol{F}_\text{ip} $和$ {\boldsymbol{F}}\boldsymbol_\text{iw} $属于不同模态和不同分布的问题,基于LiT(locked-image text tuning)训练策略[24],引入对比损失$ L_\text{c} $作为多级图像语义信息优化目标,将$ \boldsymbol{F}_\text{iw} $与$ \boldsymbol{F}_\text{ip} $进行对齐:

图 6

图 6   多级语义特征融合机制

Fig.6   Multilevel semantic feature fusion mechanism


$ L_\text{c}=-\log \frac{\exp\; (\text{sim}\;(\boldsymbol{F}_\text{ip},\boldsymbol{F}_\text{iw})/\tau )}{\displaystyle\sum \limits_{j=1}^{{m}}\exp\; (\text{sim}\;(\boldsymbol{F}_\text{ip},\boldsymbol{F}_{\text{iw}}^{(j)})/\tau )}. $

其中$ \mathrm{sim}\;(\boldsymbol{F}_\text{ip},\boldsymbol{F}_\text{iw}) $表示$ \boldsymbol{F}_\text{iw} $与$ \boldsymbol{F}_\text{ip} $的相似性,确保不同层级特征信息处于同一共享空间;$ \tau $为调节相似度分布的平滑程度系数. 通过对比损失将不同层级的语义特征映射到统一语义空间中,再将不同特征进行加权融合,形成鲁棒性更强的多级语义特征向量$ \boldsymbol{F}_i $:

$ \boldsymbol{F}_i=\alpha \boldsymbol{F}_\text{ip}+(1-\alpha )\boldsymbol{F}_\text{iw}. $

其中权重$ \alpha $的取值取决于当前信道稳定性和噪声情况. 将信道增益矩阵$ \boldsymbol{H} $进行奇异值分解(singular value decomposition, SVD),得到$ \boldsymbol{H} $的最大、最小奇异值$ \upsilon _{\max} $和$ \upsilon _{\min} $. 定义信道条件数为

$ \gamma \left(\boldsymbol{H}\right)\;{}^{\underline{\underline{\text{def}}}} \;\frac{\upsilon _{\max} }{\upsilon _{\min} }. $

$ \gamma \left(\boldsymbol{H}\right) $反映最好和最差信道间的差距,值接近1时为信道最好状态;$ \gamma \left(\boldsymbol{H}\right) $越大,$ \boldsymbol{H} $越接近奇异,可提供的独立空间自由度减少,系统稳定性下降. 利用瞬时信道条件数$ \gamma \left(\boldsymbol{H}\right) $和SNR,对融合权重$ \alpha $进行动态调整,定义为

$ \alpha \;{}^{\underline{\underline{\text{def}}}} \;\sigma \left(\beta _1\ln \gamma \left(\cdot \right)+\beta _2\ln \left(1+\frac{1}{\text{SNR}}\right)-\beta _3\right)\in \left(\lambda ,1\right). $

式中:$ \sigma \left(\cdot \right) $为Sigmoid函数,通过设置超参数$ \beta _1 $、$ \beta _2 $和$ \beta _3 $来调整权重$ \alpha $动态变化的平滑程度. 当信道矩阵稳定性下降或环境噪声增大时,$ \alpha $减小,提高文本语义特征在多级语义特征融合中的占比,有效补偿复杂环境下像素语义特征的语义结构失真问题. 文本语义的贡献主要集中于语义层面的引导,而非像素级保真;像素语义构成图像重建的核心信息,二者呈现主辅关系. 须对自适应融合权重设定下边界$ \lambda $,确保以像素特征作为重建基准,文本特征作为语义结构的补偿. 引入标签文本语义特征主要提供类别级高层语义约束,特别是在复杂场景中,标签文本语义特征信息可作为侧信息,抑制像素语义特征因噪声和复杂信道状况导致的结构畸变,间接保持局部结构一致性,增强模型对图像全局信息的全面理解,有效辅助提升重建图像的质量.

2.3. 基于Transformer预编码的MIMO系统

在典型MIMO通信场景下,无线信道受多径传播效应、时变衰落特性及信道矩阵维度升高,空间干扰耦合更复杂等因素的共同作用,会引发接收信号间的非线性干扰叠加问题. 现有基于非码本的线性预编码方法能够实现信道增益矩阵$ \boldsymbol{H} $的数学解耦,如迫零(zero forcing, ZF)预编码、最小均方误差(minimum mean square error, MMSE)预编码. ZF预编码最终的预编码矩阵形式[25]为

$ \boldsymbol{H}_\text{ZF}=\beta {\boldsymbol{H}}^{\text{H}}{\left(\boldsymbol{H}{\boldsymbol{H}}^{\text{H}}\right)}^{-1}. $

其中$ \beta $为功率归一化因子. 在本研究中,MIMO系统的收发端天线数量保持一致,语义帧长$ K $和天线数量满足$ K\leqslant N_\text{t}\leqslant N_\text{r} $,否则伪逆维度不匹配. ZF预编码矩阵的复杂度$ C_\text{ZF} $表示为

$ C_\text{ZF}=O\left(N_{\text{t}}^{}N_{\text{r}}^{2}\right)+O\left(N_{\text{r}}^{3}\right)\subseteq O\left(N_{\text{t}}^{3}\right). $

MMSE预编码的最终预编码矩阵与ZF阶数一致,因此复杂度保持同阶. Transformer预编码器和解码器的网络结构如图7所示,输入端将语义特征向量$ \boldsymbol{F}_i $通过全连接层映射至以编码器特征尺寸为$ d_\text{m} $的高维空间,并且把信道增益矩阵$ \boldsymbol{H} $展平,进行线性嵌入得到维数为$ N_\text{t}\times N_\text{r}\times d_\text{m} $的信道矩阵模型$ \boldsymbol{H}_\text{e} $,采用正弦函数生成位置编码$ P $,增强嵌入的语义特征向量. 通过ReLU激活的Transformer层处理嵌入后的信道数据,映射得到预编码矩阵$ \boldsymbol{S}_X $. 具体映射过程如下:

图 7

图 7   Transformer预编码器和解码器的结构

Fig.7   Structure of pre-encoder and decoder of Transformer


$ \boldsymbol{F}_\text{e}=\mathrm{Linear}\;(\boldsymbol{F}_i), $

$ \boldsymbol{H}_\text{e}=\mathrm{Linear}\;(\mathrm{Flatten}\;(\boldsymbol{H})), $

$ P_{(k,2j)}=\sin \left(\frac{k}{{10\;000}^{2j/d_{\text{m}}}}\right), $

$ P_{(k,2j+1)}=\cos \left(\frac{k}{{10\;000}^{2j/d_{\text{m}}}}\right), $

$ \boldsymbol{S}_X=f_{\theta _{{\mathrm{te}}}}(\boldsymbol{F}_\text{e},\boldsymbol{H}_\text{e},\sigma _{n}^{2}). $

式中:$ k $和$ j $为嵌入向量中的索引维度,数值范围通常由嵌入维度$ d_\text{m} $决定;$ \theta _{\text{te}} $为预编码器参数. 逐层映射后,将Transformer预编码的复杂度表示为

$ \begin{split}C_\text{T}=& O\left(8d_\text{m}{N}_{\text{t}}K\right)+O\left(4d_\text{m}hK\right)+\\& O\left(16d_{\text{m}}^{2}\right)\subseteq O\left(d_\text{m}N_{\text{t}}^{2}\right).\end{split} $

其中$ h $为多头自注意力头数. Transformer预编码的映射过程中无矩阵求逆,$ C_\text{T} $线性于收发端天线的平方数. 传统ZF和MMSE预编码方法均涉及高维矩阵反演,使得MIMO系统中的计算复杂度急剧增加,难以适应语义特征与信道状态的动态耦合. 本研究将基于Transformer架构的预编码器运用于基于Swin Transformer的语义通信系统中. 接收端天线将接收到的信息$ \boldsymbol{S}_Y $进行解码,得到多级语义特征向量$ \boldsymbol{F}_{\text{e}}^{\prime} $,表达式为

$ \boldsymbol{F}_\text{e}=f_{\varphi _{\text{te}}}(\boldsymbol{S}_Y,\boldsymbol{H}_\text{e},\sigma _{n}^{2}). $

将发射端、信道模型和接收端在同一个图像数据集上进行联合训练,引入Transformer预编码联合优化语义特征与信道状态,使传输系统具有适应不同通信环境的能力,解决传统非码本线性预编码方法运用于MIMO系统中的高复杂度问题.

3. 实验结果与分析

3.1. 实验设置

在不同信噪比、信道带宽比(channel bandwidth ratio,CBR)和MIMO系统天线数量的仿真条件下进行实验,将所提方案与传统方案进行接收端图像重建质量的比较. 所有实验结果均使用CIFAR-10数据集训练得到的评价模型得到,数据集中每个样本均为32×32×3(宽度×高度×色彩通道)像素的RGB图像,分别包含50 000个训练样本和10 000个测试样本. 训练集和测试集由完全不同的10类图像组成;每个图像配备类别标签值0~9,用于将离散类别标签文本信息映射为连续的文本语义特征向量. 数据集图像本身包含的细节信息较少,在像素语义特征提取部分采用窗口大小设置为2,含有2个阶段Swin Transformer的骨干网络来集中提取局部关键特征. 该数据集具备广泛的实验基准地位,适用于快速验证多模型和多参数配置下的方法性能,特别是在语义通信领域,已有大量研究采用该数据集进行对比测试. 尽管CIFAR-10图像分辨率较低,但保留了目标的基本轮廓与纹理模式,能够评估多级语义特征提取与恢复能力,尤其在低SNR和小样本训练条件下更能体现模型在结构细节提取与恢复方面的优势. 此外,在引入多尺度Swin Transformer和标签文本语义信息对齐机制后,模型可以在有限信息条件下展现出较强的语义感知与重建能力.

实验平台CPU为Intel(R) Core(TM) i5-14600KF 3.50 GHz,GPU为NVIDIA GeForce RTX 4070,PyTorch版本为2.5.1,CUDA版本为12.7. 训练过程中使用Adam优化器,采用以1.0×10−4为初始学习率,1.0×10−6为终点学习率的余弦退火学习率调节算法,对学习率进行动态调整,避免权重的梯度来回震荡导致训练损失值很难收敛. 将所提方案与在MIMO场景下基于CNN为骨干网络的Deep JSCC方法和传统图像编解码方式JPEG2000、BPG进行比较. 信道噪声功率$ \sigma _{n}^{2} $由SNR定义,确保信道状态对各方案影响一致. 在给定CBR的条件下,Deep JSCC方案的信道输入符号维度由CBR控制,无需额外冗余. JPEG2000和BPG利用低密度奇偶校验(LDPC)码进行信道编码和二进制相移键控(binary phase-shift keying, BPSK)在MIMO信道上传输压缩图像,$ R_\text{c} $为采用LDPC码的速率,$ r_\text{src}=\text{CBR}\cdot {R}_\text{c} $为JPEG2000或BPG的目标码率,避免不同传输方案之间因频谱效率或能耗差异对重建质量评估造成的偏差. 设置MIMO系统天线数量为2种模式:2×2和4×4.

3.2. 评估指标

为了衡量基于Swin Transformer的MIMO信道图像语义传输方案的重建性能,从不同层面对比分析重建图像与原始图像的差异,对重建图像采用2种常见的图像质量评估指标:峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity index measure,SSIM). PSNR是利用均方误差(mean squared error,MSE)反映图像重建质量的常用指标,

$ \text{PSNR}=10{\lg }\frac{{\text{MAX}}^{2}}{\text{MSE}}. $

式中:$ \text{MAX} $为图像像素可能的最大值,对于灰度图像每个像素由8位二进制表示,通常取值为255. RGB图像为3个通道的MSE平均值. MSE用于量化原始图像$ {\boldsymbol{I}}_{i} $与重建图像$ \boldsymbol{I}_{i}^{\prime} $在像素级别上的平均误差,

$ \text{MSE}=\frac{1}{h\times w}{\sum \limits_{j=1}^{h}\sum \limits_{k=1}^{w}\left({I}_{i}(j,k)-I_{i}^{\prime}(j,k)\right)^{2}}. $

式中:对于CIFAT-10数据集,$ h $和$ w $均为32;$ {I}_{i}(j,k) $和$ I_{i}^{\prime}(j,k) $分别为原图和重建图在位置$ (j,k) $处的像素值. 最小化MSE会使PSNR增大,表示图像传输失真减少. 通常在对传输图像进行重建时,PSNR>30 dB的重建图像与原始图像的差异处于合理范围,可以认为重建效果较好. SSIM从亮度、对比度及结构这3个方面对图像进行整体质量评估,

$ \text{SSIM}\;(x,y)=\frac{\left(2{\mu }_{x}{\mu }_{y}+{c}_{1}\right)\left(2{\sigma }_{xy}+{c}_{2}\right)}{\left(\mu _{{}_{x}}^{2}+\mu _{{}_{y}}^{2}+{c}_{1}\right)\left(\sigma _{x}^{2}+\sigma _{y}^{2}+{c}_{2}\right)}. $

式中:$ x $和$ y $分别为原图和重建图中的局部图像块;$ {\mu }_{x} $和$ {\mu }_{y} $分别为$ x $和$ y $的局部均值;$ \sigma _{x}^{2} $和$ \sigma _{y}^{2} $分别为$ x $和$ y $的局部方差;$ {\sigma }_{xy} $为$ x $与$ y $的局部协方差;$ {c}_{1} $和$ {c}_{2} $均为较小的常数,用于避免分母为零. SSIM的取值范围为[−1,1],取值越接近1,说明两幅图像在结构信息、亮度和对比度上越相似,重建图像质量越好.

3.3. 实验结果分析

如图8所示为AWGN信道下CBR=0.5时,不同传输方案的图像重建质量. 实验在配备不同数量的发送天线和接收天线的MIMO场景下进行比较,各项传输方案在4×4 MIMO场景中的图像重建质量均优于2×2 MIMO场景的图像重建质量. 此外,各方案接收端重建图像的PSNR随SNR增加呈单调递增趋势. 在高SNR环境下,噪声导致的信息丢失与损坏更少,支持更多图像语义信息与细节传输,重建图像质量更趋近于原始图像. 在低SNR环境下,JPEG2000和BPG方案的PSNR呈现急剧下降趋势,甚至出现悬崖效应,部分归因于传统压缩标准采用信源编码与信道编码分离的设计,未考虑端到端失真. 相比之下,本研究所提传输方案与基于CNN的Deep JSCC仍能维持较高PSNR水平,其中本研究基于Swin Transformer的多级语义特征传输方案表现更优. 在4×4 MIMO场景下,当SNR=0 dB时,所提方案的PSNR较JPEG2000提升3.06倍,较BPG提升4.55倍,较Deep JSCC提升62.97%;SSIM较JPEG2000提升2.79倍,较BPG提升4.46倍,较Deep JSCC提升42.59%. 多级语义特征自适应融合机制使图像在压缩传输至信道干扰严重的环境时,尽管像素层面存在损失,但语义结构更完整、更自然,维持了重建图像质量,表现出更优的适应性与鲁棒性.

图 8

图 8   不同传输方案的图像重建质量对比

Fig.8   Comparison of image reconstruction quality among different transmission schemes


在MIMO系统中利用有限资源实现数据的高效传输,CBR是优化频谱资源利用与提升系统性能的关键参数. 如图9所示为在2×2和4×4 MIMO场景下,CBR对不同传输方案图像重建质量的影响. 可以看出,随着CBR增大,重建图像质量呈上升趋势,原因是较高的CBR对应图像语义信息经过较少的数据压缩,保留了更多的语义信息. 在2×2 MIMO场景下,评估指标为SSIM时所提传输方案比以CNN为网络骨干的Deep JSCC、JPEG2000和BPG的传输方案的性能至少分别提升4.03%、11.09%和12.60%;在4×4 MIMO场景下,性能至少分别提升2.24%、9.39%和12.96%. 上述实验结果,验证了本研究所提传输方案可以在MIMO通信系统情况下,更好地平衡图像语义传输质量与效率.

图 9

图 9   信道带宽比对不同传输方案图像重建质量的影响

Fig.9   Impact of channel bandwidth ratio on image reconstruction quality for different transmission schemes


设置自适应权重融合(权重下界$ \lambda =0.7 $)、固定权重融合($ \alpha =0.7 $)、仅像素和仅文本4种情形,在保持相同信道条件和对应模块参数不变的情况下,分别对不同情形重新训练模型,如图10所示为多级语义特征自适应融合对图像重建质量的影响. 可以看出,在采用多级语义特征融合或仅使用像素语义特征模块时,所提传输方案均优于基于CNN的Deep JSCC方案,进一步证实Swin Transformer通过窗口自注意力机制实现的全局上下文建模能力显著优于CNN的局部卷积操作. 当引入图像标签文本作为高层语义信息时,相较于仅依赖单一像素语义信息的特征传输机制,多级语义特征融合模块的PSNR提升幅度最高达30.34%,SSIM提升幅度最高达20.99%. 文本语义仅能在像素语义受损时可作为侧信息补偿语义结构,但本身生成的图像仅具有语义相似性且严重失真. 因此,设置自适应融合权重下界$ \lambda $是必要的,仅文本模块的PSNR与SSIM指标显著低于仅像素模块,即使在高SNR条件下也无显著提升. 通过对比自适应权重与固定权重的融合方案发现,随着SNR降低,以信道矩阵状况和SNR作为反馈参数调整融合权重的多级语义传输方案,能够自适应地优化像素语义特征与文本语义特征的权重分配,有效缓解像素语义结构在复杂信道及极端噪声条件下的失真问题,使低SNR环境下的图像重建质量获得显著提升,充分验证了自适应融合权重的有效性.

图 10

图 10   多级语义特征融合对图像重建质量的影响

Fig.10   Impact of multilevel semantic feature fusion on image reconstruction quality


在SNR=10 dB的4×4 MIMO场景下,进行方案的复杂度和实时性评估,指标包括模型参数量、每秒浮点运算数(floating point operations per second, FLOPs)、系统端到端延迟、PSNR和SSIM,结果如表1所示. 测试在批量大小为1的CIFAR-10数据集上重复实验20次,取平均后得到单次传输的端到端延迟. 本研究所提方案的参数量为46.82×106,较Deep JSCC增加约7.50×106,但Swin Transformer的局部窗口自注意力将FLOPs从6.57×109降至5.12×109,计算量下降22.07%. 所提方案不需要LDPC编码和对信道矩阵无求逆的Transformer预编码,端到端延迟为16.48 ms,显著低于其他传输方案. 虽然在模型参数量方面没有相对优势,但是所提方案在计算量与端到端延迟方面领先的同时,重建图像的PSNR和SSIM均有提升. 将Transformer预编码模块移除重新训练模型,验证该模块对系统最终性能及复杂度的影响,发现引入Transformer预编码模块后,参数量、FLOPs与端到端延迟仅分别增加约6.99%、4.70%和10.46%,但PSNR和SSIM指标显著提升了12.94 dB和0.349 5. Transformer预编码模块的引入有效抑制了空间干扰耦合复杂性与多径效应引发的信号失真问题,显著改善接收信号质量,实现了模型复杂度与图像重建质量之间更优平衡.

表 1   方案复杂度与实时性的评估

Tab.1  Evaluation of complexity and real-time performance of scheme

传输方案参数量/106FlOPs/109端到端延迟/msPSNR/dBSSIM
本研究46.825.1216.4834.560.943 0
本研究(无Transformer预编码)43.764.8914.9221.620.593 5
Deep JSCC39.326.5737.3229.660.860 7
JPEG2000+LDPC——94.7324.710.767 5
BPG+LDPC——81.2623.560.707 6

新窗口打开| 下载CSV


4. 结 语

本研究提出MIMO系统下基于Swin Transformer多级语义特征自适应融合与Transformer预编码协同的图像语义传输方案,针对MIMO信道高维度空间干扰耦合的核心问题,通过Transformer预编码促进语义-信道联合优化,有效抑制多用户干扰,提升低SNR场景下语义信息传输的鲁棒性. 所设计的多级语义特征自适应融合模块,通过像素语义特征与标签文本语义特征的跨模态对齐,在统一语义空间中强化语义一致性约束,缓解了低SNR和复杂信道环境下引发的图像结构畸变,实现语义保真度与视觉质量的提升. 所提方案突破了传统通信方式在单一特征依赖、信号失真及信道环境适配性上的固有瓶颈,通过Swin Transformer多尺度提取能力与Transformer预编码的信道适配优势,为复杂MIMO信道下的高可靠图像语义通信提供了新框架. 该方案在低SNR及复杂信道条件下的性能显著优于传统压缩编码方法及基于CNN的Deep JSCC语义通信方案,验证了语义-信道协同优化与跨模态语义对齐在提升通信鲁棒性中的关键作用. 未来研究将进一步拓展至CSI不完备的实际场景,并在如ImageNet、DIV2K的高分辨率数据集上深入探索多级语义特征融合机制的泛化能力,以提升方案在更复杂信道环境与更高分辨率图像传输任务中的适用性.

参考文献

YANG K, WANG S, DAI J, et al

SwinJSCC: taming Swin Transformer for deep joint source-channel coding

[J]. IEEE Transactions on Cognitive Communications and Networking, 2025, 11 (1): 90- 104

DOI:10.1109/TCCN.2024.3424842      [本文引用: 1]

YANG K, WANG S, DAI J, et al. WITT: a wireless image transmission transformer for semantic communications [C]// Proceedings of the ICASSP 2023—2023 IEEE International Conference on Acoustics, Speech and Signal Processing. Rhodes Island: IEEE, 2023: 1–5.

[本文引用: 1]

张平, 戴金晟, 张育铭, 等

面向语义通信的非线性变换编码

[J]. 通信学报, 2023, 44 (4): 1- 14

DOI:10.11959/j.issn.1000-436x.2023087      [本文引用: 1]

ZHANG Ping, DAI Jinsheng, ZHANG Yuming, et al

Nonlinear transform coding for semantic communications

[J]. Journal on Communications, 2023, 44 (4): 1- 14

DOI:10.11959/j.issn.1000-436x.2023087      [本文引用: 1]

陈建侨, 马楠, 许晓东, 等

面向语义通信的信道知识库构建与信道处理研究综述

[J]. 无线电通信技术, 2024, 50 (3): 519- 527

DOI:10.3969/j.issn.1003-3114.2024.03.013      [本文引用: 1]

CHEN Jianqiao, MA Nan, XU Xiaodong, et al

Recent research on channel knowledge base construction and channel processing for semantic communication: a survey

[J]. Radio Communications Technology, 2024, 50 (3): 519- 527

DOI:10.3969/j.issn.1003-3114.2024.03.013      [本文引用: 1]

HUANG D, TAO X, GAO F, et al. Deep learning-based image semantic coding for semantic communications [C]// Proceedings of the IEEE Global Communications Conference. Madrid: IEEE, 2022: 1–6.

[本文引用: 1]

NGUYEN L X, TUN Y L, TUN Y K, et al

Swin Transformer-based dynamic semantic communication for multi-user with different computing capacity

[J]. IEEE Transactions on Vehicular Technology, 2024, 73 (6): 8957- 8972

DOI:10.1109/TVT.2024.3362328      [本文引用: 1]

BOURTSOULATZE E, BURTH KURKA D, GÜNDÜZ D

Deep joint source-channel coding for wireless image transmission

[J]. IEEE Transactions on Cognitive Communications and Networking, 2019, 5 (3): 567- 579

DOI:10.1109/TCCN.2019.2919300      [本文引用: 1]

WANG Y, GAO Z, ZHENG D, et al

Transformer-empowered 6G intelligent networks: from massive MIMO processing to semantic communication

[J]. IEEE Wireless Communications, 2023, 30 (6): 127- 135

DOI:10.1109/MWC.008.2200157      [本文引用: 1]

DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16x16 words: transformers for image recognition at scale [EB/OL]. (2021–06–03)[2025–05–15]. https://arxiv.org/pdf/2010.11929.

[本文引用: 2]

HAN K, WANG Y, CHEN H, et al

A survey on vision transformer

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45 (1): 87- 110

DOI:10.1109/TPAMI.2022.3152247      [本文引用: 1]

VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need [C]// Proceedings of the 31st International Conference on Neural Information Processing Systems. [S.l.]: Curran Associates Inc. , 2017: 6000–6010.

[本文引用: 1]

LIU Z, LIN Y, CAO Y, et al. Swin Transformer: hierarchical vision transformer using shifted windows [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2022: 9992–10002.

[本文引用: 1]

LIANG H, BAO Z, AN W, et al. Semantic importance-aware based for multi-user communication over MIMO fading channels [EB/OL]. (2023–12–26)[2025–05–15]. https://arxiv.org/pdf/2312.16057.

[本文引用: 1]

PENG K, MENG Y, WU D, et al. Multi-task semantic communication for image transmission over MIMO channel [C]// Proceedings of the 16th International Conference on Wireless Communications and Signal Processing. Hefei: IEEE, 2025: 1468–1473.

[本文引用: 1]

XIE B, WU Y, SHI Y, et al

Robust image semantic coding with learnable CSI fusion masking over MIMO fading channels

[J]. IEEE Transactions on Wireless Communications, 2024, 23 (10): 14155- 14170

DOI:10.1109/TWC.2024.3409735      [本文引用: 1]

HUANG D, GAO F, TAO X, et al

Toward semantic communications: deep learning-based image semantic coding

[J]. IEEE Journal on Selected Areas in Communications, 2023, 41 (1): 55- 71

DOI:10.1109/JSAC.2022.3221999      [本文引用: 1]

SHI Y, SHAO S, WU Y, et al

Excess distortion exponent analysis for semantic-aware MIMO communication systems

[J]. IEEE Transactions on Wireless Communications, 2023, 22 (9): 5927- 5940

DOI:10.1109/TWC.2023.3238463      [本文引用: 1]

CAI C, YUAN X, ZHANG Y A

End-to-end learning for task-oriented semantic communications over MIMO channels: an information-theoretic framework

[J]. IEEE Journal on Selected Areas in Communications, 2025, 43 (4): 1292- 1307

DOI:10.1109/JSAC.2025.3531575      [本文引用: 1]

WANG S, DAI J, LIANG Z, et al

Wireless deep video semantic transmission

[J]. IEEE Journal on Selected Areas in Communications, 2023, 41 (1): 214- 229

DOI:10.1109/JSAC.2022.3221977      [本文引用: 1]

BYERS G J, TAKAWIRA F

Spatially and temporally correlated MIMO channels: modeling and capacity analysis

[J]. IEEE Transactions on Vehicular Technology, 2004, 53 (3): 634- 643

DOI:10.1109/TVT.2004.825766      [本文引用: 1]

LIU X, XU Q

Adaptive attention-based high-level semantic introduction for image caption

[J]. ACM Transactions on Multimedia Computing, Communications, and Applications, 2020, 16 (4): 1- 22

DOI:10.1145/3409388      [本文引用: 1]

LI D, ZHAO Y, CUI R, et al. Research on image text generation based on word2vec visual vocabulary attention [C]// Proceedings of the Asia-Pacific Conference on Communications Technology and Computer Science. Shenyang: IEEE, 2021: 344–348.

[本文引用: 1]

LI S, SUN Y, ZHANG J, et al. End-to-end generative semantic communication powered by shared semantic knowledge base [C]// Proceedings of the IEEE International Conference on Communications Workshops. Denver: IEEE, 2024: 1067–1072.

[本文引用: 1]

ZHAI X, WANG X, MUSTAFA B, et al. LiT: zero-shot transfer with locked-image text tuning [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 18102–18112.

[本文引用: 1]

TATARIA H, SHAFI M. Simple framework of ZF precoding analysis for full-dimensional massive MIMO systems [C]// Proceedings of the IEEE 94th Vehicular Technology Conference. Norman: IEEE, 2021: 1–5.

[本文引用: 1]

/

〈 〉