香农（Claude Elwood Shannon）和韦弗（Warren Weaver）都深入探讨了通信的本质^[1]，他们将通信问题细分为技术层（语法层）、语义层和效用层（语用层），传统的基于统计概率的通信技术主要涉及最基础的语法层面. 自香农提出信息论以来^[2]，这种经典的通信方式在信息压缩、传输和处理等多个领域迅速发展，也逐渐出现发展瓶颈. 特别是在信息压缩领域，目前的语音、图像和视频压缩编码技术几乎达到信息熵理论和率失真函数的极限，进一步提高压缩效率的成本非常高，收益却有限. 在信息传输领域，现有的信道传输能力几乎触及信道容量极限，通过增加频谱、天线数量或提升功率来扩充容量不仅代价昂贵，而且难以持续. 在信息处理领域，随着摩尔定律的减缓，芯片的计算能力提升已近极限. 经典通信技术亟须开拓新的理论和技术创新路径^[3].

在深度学习和智能硬件的推动下，6G语义通信领域受到学术界的广泛关注. 研究者正致力于探索基于深度学习的通信技术，设计出基于文本、图像和音频的语义通信系统，极大降低了传输成本，保障了任务性能，提升了系统稳健性. Xie等^[4]开发了深度学习驱动的语义通信系统，Tong等^[5]在无线网络中针对音频数据设计了基于CNN的高效传输系统. 在图像语义通信方面，Huang等^[6]使用生成对抗网络（generative adversarial networks, GAN）开发分阶段的编码过程，Patwa等^[7]提出提高视觉数据分析性能的压缩方法，Sun等^[8]研发图像传输的联合源通道编码技术. Wang等^[9-10]采用对抗性损失优化编码方法，研究语义先验信息在图像压缩中的应用. Hu等^[11]设计的端到端系统框架能够显著提升系统稳健性，降低传输成本.

语义通信旨在传递数据中与语义相关的关键内容，它通过分析和提取数据的主要语义特征，在维持信息本质意义的同时对数据进行有效压缩，不但能够减少使用频谱资源，还能够在信道条件恶劣，尤其是在低信噪比（signal-to-noise ratio, SNR）的情况下，保持较高的稳定性和可靠性^[4]. 语义通信方法强调理解发送者信息的重要性，实现有效的语义传达. 如联合图像专家小组（joint photographic experts group, JPEG）压缩的传统压缩方法在语义压缩过程中常忽视数据的深层含义和重要性，专注于提取并表达数据的核心语义信息，以便在节约存储空间的同时保持信息的完整性和准确性. 牛冠冲等^[12]将WebRTC-SVC技术与基于语义的运动检测及压缩（semantic motion detection and compression，SMDC）方法结合，采用分层编码技术优化视频数据的传输和处理效率. 莫肇豪等^[13]开发基于上下文语义相似度的图像压缩技术，利用LDPC码进行编码传输，该技术在噪声环境下展现出优于传统无损压缩方法的性能. Kutay等^[14]预训练神经网络，采用记忆和学习的策略实现对分类任务的数据压缩，Grassucci等^[15]探讨生成模型在语义通信中的作用和在减少数据流量、开启新任务方面的潜力. Li等^[16]提出的动态语义压缩方法适用于CNN推理任务，通过语义压缩和部分卸载提升了任务处理的准确性和效率. 这些研究凸显了语义压缩技术在减少数据冗余和维持信息完整性方面的重要性，关注神经网络架构在实现数据有效压缩方面的应用，Wang 等^[17-18]评估图像像素与其语义内容的相关性，提出针对图像重要区域的特定编解码方法，强调语义任务相关性在决定编解码策略中的核心作用，有效改善了人眼的感知效果. Sun等^[8]采用基于语义任务相关性的方法，对特征进行语义信息与任务相关性加权，利用这种加权的均方误差（MSE）来训练通信模型，确保语义压缩的同时优先传输最重要的特征. Dong 等^[19]利用GAN构建包含基础模型和增强模型的语义压缩系统，特别设计的增强模型增强了语义任务的准确性和控制能力. 何晨光等^[20-21]基于语义信息的任务重要性对语义特征进行语义压缩，强化了语义任务相关性在传输关键特征中的应用.

现有语义压缩方法从语义与任务相关性的角度训练编解码器实现压缩，缺乏有效的语义重要性度量标准，未充分考虑语义重要性对压缩效果的影响程度. 为了最大程度压缩冗余信息，有必要基于现有方案提出更全面的语义重要性评估方法进行语义信息衡量. 语义重要性的度量方法多用于文字或图像的恢复、传输和处理任务^[22]，分为以下3类. 1）基于语义相似度的语义重要性度量^[23-24]，指通过计算不同语义信息在语义空间中的距离或相似度来衡量语义重要性. 在基于知识图谱的语义通信系统中，传输的句子通过知识图谱转换为三元组，三元组被视为基本的语义符号，通过计算三元组与句子的余弦相似度来表征三元组的语义重要性，根据信道质量自适应地调整传输内容，将更多的传输资源分配给重要的三元组，可以增强通信的可靠性^[23-24]. 2）基于梯度的重要性度量^[8，25]，指基于智能任务感知结果相对于语义特征的梯度来度量语义重要性. 在面向智能任务的语义通信系统中，神经网络从原始数据中提取语义特征，当信道资源比较紧张和时延敏感时，语义特征通常被压缩以减轻信道负担，语义特征对智能任务处理结果的影响程度不同，为了度量语义特征的重要性程度，提出基于梯度处理的重要性度量，从而在有限的信道资源下保证任务的处理性能^[8，26]. 3）基于信息量的语义重要性度量^[26-27]，指通过分析语义特征与对应语义类别的互信息来衡量语义通信中的重要信息. 在语义场景理解中，不仅要考虑信息的频率和普遍性^[27]，还要评估其在构建场景意义中的独特作用. 分析抽象图像的高层次特征可以量化每个特征对整体语义理解的贡献^[26]，这在资源有限的通信系统中尤为有效，能够在带宽和处理能力有限的情况下，传输最重要的语义信息.

语义重要性的度量方法没有统一的衡量标准，且现有方法存在片面性，未从语义对智能任务影响和语义在语义空间中重要性的双重维度进行全面考虑. 本研究提出基于全局相关语义重要性（global correlated semantic importance, GCSI）的语义压缩算法，从语义对智能任务影响程度和语义特征在语义空间的相关性全面度量语义特征的重要性，将智能任务结果对语义特征的梯度定义为语义任务相关性^[25]，将语义特征在语义空间的相关性定义为语义内在相关性.

如图1所示，语义重要性度量网络是基于智能分类任务的网络模型，包含语义编码器、语义解码器模块. 语义编码器模块利用CNN提取图片特征得到对应的语义特征，主要由卷积层和池化层构成. 语义解码器处理语义特征以完成智能任务，由全连接层构成. GCSI通过语义特征衡量语义任务相关性和语义内在相关性. 语义任务相关性由任务结果计算关于语义特征的梯度得到，语义内在相关性由余弦相似度分析得到.

加载ResNet18模型，设备采集图像数据进行预处理，将图像扩展到 256×256，随机裁剪为 224×224，得到图像${{\boldsymbol{I}}}$. 利用语义编码器提取语义特征：

式中：$ {S_\alpha }( \cdot ) $为语义编码器，用于提取语义特征的CNN，$\alpha $为该网络的参数集；$K$为总的特征图数量，M和N分别为语义特征的宽度和高度；$ {{{\boldsymbol{f}}}_{k}} \in {{\bf{R}}^{M \times N}} $为单个语义特征，$k$为语义特征的索引，$k \in \{1,2,\cdots,K\} $.

提取语义特征后由语义解码器从语义特征信息中进一步获得语义任务相关性. 语义特征集$ {F} $作为语义解码器的输入，经语义解码器处理后输出特征的任务感知结果${{\boldsymbol{y}}} = \left[ {{{{\boldsymbol{y}}}^{1}},{{{\boldsymbol{y}}}^{2}}, \cdots ,{{{\boldsymbol{y}}}^{c}}} \right]$，其中c有$C$种分类. 感知结果是分类任务中的置信度分数，利用感知结果相对于特征图的梯度来量化语义特征对智能任务的影响程度，得到语义任务相关性. 以式(1)提取的语义特征作为输入，利用每个语义概念$c$对应的神经元激活值对${{{\boldsymbol{f}}}_{k}}$求梯度，在$M$和$N$上使用全局平均池化，得到语${{{\boldsymbol{f}}}_{k}}$对$c$的重要性权重:

为了获得整个智能感知结果${{\boldsymbol{y}}}$对${{{\boldsymbol{f}}}_{k}}$的语义权重，计算该语义权重平均值作为${{{\boldsymbol{f}}}_{k}}$的语义任务相关性：

衡量语义在语义空间中的相关性须进一步度量语义内在相关性. 进行${{{\boldsymbol{f}}}_{k}}$与全部$K$个语义特征的相关性计算，得到相关性指标$ {\boldsymbol{R}} = [ {{{\boldsymbol{r}}}_{{{k}_1}}},{{{\boldsymbol{r}}}_{{{k}_2}}}, {{{\boldsymbol{r}}}_{{{k}_3}}}, \cdots ,{{{\boldsymbol{r}}}_{{{k}_{i}}}} ], i \in \{ 1,2, \cdots ,K\} $，${{{\boldsymbol{r}}}_{{{k}_{i}}}}$为第$k$个语义特征和第$ i $个语义特征的相关性. 求解相关性的方法有余弦相似度、皮尔逊相关系数和斯皮尔曼秩相关系数等，本研究使用余弦相似度${{{\mathrm{SIM}}}_{{\mathrm{C}}}}$表征${{{\boldsymbol{f}}}_{k}}$与${{{\boldsymbol{f}}}_{i}}$的语义相关性：

式中：$ < {{{\boldsymbol{f}}}_{i}},{{{\boldsymbol{f}}}_{k}} > $为语义特征${{{\boldsymbol{f}}}_{i}}$和${{{\boldsymbol{f}}}_{k}}$的内积. 计算${{{\boldsymbol{f}}}_{k}}$与${\boldsymbol{R}} $的平均值，得到第$k$个语义特征在语义空间的相关性，即语义内在相关性：

由语义任务相关性${{{\boldsymbol{g}}}}$和语义内在相关性${{{\boldsymbol{v}}}}$的哈达玛积为语义特征的GCSI指标：

GCSI指标既包含语义特征对智能任务的重要性，又包含语义特征在语义空间的重要性，能够全面衡量语义特征的重要性.

如图2所示，基于GCSI的语义压缩算法网络结构以面向任务的语义通信框架为基础，由语义编码器、语义重要性度量模块、语义压缩和语义解码器等部分组成. 语义编码器基于CNN提取图片的语义特征，主要由卷积层和池化层构成. 语义重要性度量模块通过语义任务相关性和语义内在相关性衡量GCSI. 语义压缩模块根据GCSI自适应地保留少数重要的语义特征，语义解码器基于全连接层处理保留的语义特征，完成智能任务. 为了对编码器和解码器进行端到端（end-to-end，E2E）的训练，信道必须支持反向传播. 使用神经网络来定义物理信道模型. 例如，使用简单的神经网络来构建加性白高斯噪声（additive white Gaussian noise，AWGN）信道、乘性高斯噪声信道和擦除信道等^[8，26]. 由于衰落信道的复杂特性，处理衰落信号通常使用更复杂的神经网络模型，以更准确地捕捉信道状态信息并提高信号恢复能力. 本研究关注语义编解码和语义压缩过程，选择简单的AWGN信道作为主要研究对象.

如图3所示为AWGN信道模型，输入$X$和输出$Y$之间的映射关系由神经元的权重$w$和偏置$b$决定：

已知信道的先验信息（AWGN 信道），因此设定$w$=1，相应修改其他信道权重；$b$模仿信道中的高斯随机噪声加载到$X$上，其方差由信噪比${R_{{\mathrm{SN}}}} $和发送功率$P $决定^[19]：

其中噪声$b$被假定为均值为零，方差为${\sigma ^2}$的高斯分布. 为了最大化系统容量，降低信道噪声对信号传输过程的影响，借鉴基于互信息估计的方法^[27]，构建由2层全连接网络组成互信息估计网络，核心思想是通过最大化输入和输出之间的互信息$I$来优化信号的传输：

式中：$x$为输入数据的随机变量，其边际概率分布为$p(x)$，$y$为输出数据的随机变量，其边际概率分布为$p(y)$；$p(x,y)$为联合概率分布，$p(y|x)$为在已知输入数据$x$的条件下输出数据$y$的条件概率分布.

由GCSI指标对所有特征图从大到小依次排序，得到的特征图排序结果：

式中：${s_1}$为对最重要的特征图索引，${s_K}$为对语义最不重要的特征图索引. 根据语义特征的重要性排序，由压缩率过滤部分特征图，只保留重要的语义信息. 语义压缩的过程表示为

式中：${Z_o}\left( \cdot \right)$为语义特征压缩函数，$o$为压缩率, ${{\boldsymbol{Z}}}$为压缩后的特征. 为了更清晰地描述语义压缩的具体步骤，将该压缩过程表示为

式中：${{{\boldsymbol{Z}}}^{k}}$为经压缩后的特征，${{{\boldsymbol{w}}}_n}$为由压缩率或者任务性能决定的重要性权重阈值,${\boldsymbol{w}}_k $为${\boldsymbol{f}}_k $的GCSI指标. 式(12)表明，若语义特征的重要性权重超过阈值，此维度的语义特征将被传送；否则，将被丢弃. $n$为实际传输的重要特征数量：

其中$\tau \in \left[ {0,1.0} \right)$为压缩率，即通信系统发送端语义的压缩程度，$\tau $越接近1.0，语义特征的压缩程度越大，更少的语义特征被传输. 实际传输特征图的占比为$1 - \tau $. 由式(12)、(13)可以得到实际经信道传输的语义特征索引的表达式：

压缩后的语义特征经过无线信道传输和语义解码器解码完成分类任务，语义压缩大大减少了传输的数据量和对通信资源的需求.

综上，基于GCSI的语义压缩算法先通过语义编码器提取输入图像的语义特征，利用语义任务相关性和语义内在相关性衡量全局相关语义重要性，再结合 GCSI 指标按设定的压缩率对语义特征筛选压缩，最后通过信道传输至语义解码器以完成分类任务. 具体算法流程见算法1.

算法 1　基于GCSI的语义压缩算法

输入：待分类的图片，压缩率

输出： 分类结果

1. 将待分类图片输入语义编码器，得到语义特征${{\boldsymbol{F}}}$；

2. 利用式(2)、(3)计算语义任务相关性；

3. 利用式(4)、(5)计算语义内在相关性；

4. 综合语义任务相关性和语义内在相关性计算GCSI指标；

5. 根据GCSI指标对语义特征进行排序，得到式(10)；

6. 利用GCSI指标和设定的压缩率压缩特征图，得到实际传输的语义特征索引向量${{{\boldsymbol{s}}}_{\mathrm{T}}}$；

7. 压缩后的语义特征经信道传输和语义解码器解码完成分类任务.

所提算法的复杂度分析步骤如下：语义特征提取、GCSI语义重要性评估、语义特征重要性排序和语义特征压缩. 语义提取特征的复杂度一般与模型的深度和参数数量成正比，复杂度为$O(D \cdot K)$，其中$D$为每个语义特征向量的维度，$K$为总的特征图数量. GCSI语义重要性评估分为语义任务相关性和语义内在相关性，语义任务相关性须计算每个特征与类别的相关性，要对每个类别$C$进行$K$次评估，复杂度为$O(C \cdot K)$，处理8000张图片的通信时间为68 s；语义内在相关性须计算$K$个语义特征向量同整体语义特征的相似度，复杂度为$O(D \cdot K)$. 语义特征重要性排序的复杂度为$O(K \cdot \lg(K))$；语义压缩采用简单的阈值化方法，因此复杂度为$O(K)$. 综上，基于GCSI的语义压缩方法的时间复杂度为$ O(D \cdot K) $，处理8000张图片的通信时间为209.7 s. 随机压缩的复杂度是随机选取特征进行压缩，复杂度取决于随机选择算法和特征的数量$K$，随机压缩的复杂度为$O(N \cdot K)$，处理8000张图片的通信时间为70 s，$N$为随机选择算法的选择次数. 相比基于语义任务相关性的语义压缩方法，基于GCSI的语义压缩时间较长. 原因是基于GCSI的语义压缩增加了语义内在相关性的计算开销，须计算每个语义特征向量与整体语义特征的相似度.

使用含有10个不同类别的STL-10数据集进行模型训练与验证. STL-10包含13 000张图像，每个类别包含500张训练用图像和800张测试用图像. 图像的原始分辨率为96 dpi×96 dpi，涵盖10种不同的类别. 为了增强模型的识别精度，在训练阶段，所有图像先增大至256×256，再随机剪裁成224×224以供神经网络处理.

实验使用Ubuntu 20.04操作系统，采用Pytorch深度学习库，编程采用Python语言. 在图像识别领域，ResNet结构已被证实能够在提高分类精度和模型泛化能力方面发挥显著效用^[25]. 在分类实验中，选用ResNet结构作为特征提取的网络结构，完成精确且高效的图像分类. 本研究的特征提取网络架构为ResNet18，它在处理速度和资源消耗方面具有显著优势，适合在资源受限的环境中运行，能够满足实时处理的应用需求；该网络结构被广泛应用于有节约资源需求的各种任务中，并且处理图像分类和特征提取的性能良好. ResNet18模型的训练参数：50轮迭代，批次大小为12，优化器采用随机梯度下降，学习率为0.01. 系统仿真参数方面，待分类图片为8 000张，无线信道类型为高斯信道，压缩比例分别为0.65、0.80、0.85和0.90. 在进行对比实验时，为了确保公平和一致性，各个对比实验均采用统一的实验设置和模型生成方法：所有算法均使用相同的硬件配置、软件环境和神经网络基础架构，即采用ResNet18作为特征提取的主体结构，确保所有数据都经过相同的预处理步骤，包括图像的大小调整和归一化处理. 实验中使用的训练和测试数据集完全一致，以排除数据变异对实验结果的影响. 对比的关键在于语义重要性的度量和语义压缩算法的实现方式. 在测试过程中，对不同的语义压缩方法进行实验，每种方法都采用独特的策略来评估语义特征的重要性，并据此进行数据压缩. 不同的语义重要性评估方法直接影响压缩算法的选择和性能，决定哪些数据须保留，哪些数据可以被压缩或丢弃.

将压缩率$\tau $、分类准确率$ {\mathrm{Acc}} $和信道信噪比$ {R_{{\mathrm{SN}}}} $作为评价指标，分别从压缩性能、任务表现和抗信道噪声能力3个方面评估所提算法：

式中：$ {N_{\mathrm{s}}} $为待分类的图片总数；${N_{\mathrm{i}}}$为分类正确的图片数量，${F_{\mathrm{s}}}$为待传输的语义特征总数，${F_{\mathrm{i}}}$为被传输的特征数量，$ {P_{{\mathrm{s}}}} $为压缩后语义特征的功率，$ {P_{{\mathrm{n}}}} $为信道中的噪声功率. 信道信噪比在本实验中动态可变.

采用交叉熵作为损失函数，采取联合互信息估计网络与分类器的迭代训练方法. 该方法能够显著减少信道噪声对信号传输的干扰，增强语义通信系统的鲁棒性，并进网络更加精确地把握数据的分布属性. 具体训练流程如下：训练互信息网络，完成后将互信息网络参数固定，训练语义通信网络；保持语义通信网络参数不变，再次训练互信息网络；如此循环，直至满足收敛标准.

将所提算法与基于随机压缩算法和基于语义任务相关性的语义压缩算法^[25，28]进行对比. 设置信噪比为20 dB，如表1所示为不同压缩方法在各个压缩率设置下的性能测试结果. 表中，p、r、F1分别为精确率、召回率和F1分数. 可以看出，所提算法在各个评价指标上均优于对比算法. 特别是在较低的压缩率（如$\tau $=0.60、0.80）下，所提算法不仅保持了较高的准确率，还具有卓越的召回率和精确度，在确保数据压缩的同时不损失重要的语义信息. 所提算法在不同的压缩率下均能保持稳定的性能表现，体现了它在实际应用中的可靠性和效率. 表中数据充分证明所提算法在维持数据完整性和优化压缩性能方面的优势，为面对未来数据增长带来的挑战提供了有力的技术支撑.

如图4所示为2种压缩率条件下，不同压缩方式的性能对比分析. 当$\tau $=0.65、0.80时，所提算法能够保持与未压缩情况相当的任务性能. 该性能表现在低信噪比环境下尤为突出，展现出比现有基于语义任务相关性的语义压缩技术更优的抗噪声能力和更轻微的性能衰减. 由图可知，所提算法不仅能够在低信噪比环境下保持超过10%的性能提升，而且在高信噪比环境下也能维持性能稳定，几乎无衰减. 图4（a）中，在较低信噪比的情况下，基于GCSI的语义压缩性能略优于不压缩，图4（b）中没有这种现象，这主要是由信噪比、压缩率和特征的选择相互影响决定的. 一方面，在低信噪比的环境中，由于噪声比例较高，传统的包含大量冗余信息的完整数据容易受到噪声的干扰. GCSI通过有选择地压缩数据，减少了可能受噪声影响的数据量. 这种策略不仅降低了数据的复杂度，还保留了数据的核心语义，在功能性任务（如分类）中，相对于未压缩的数据，压缩后的数据能够展示更优的性能. 另一方面，随着压缩率的进一步提高，更多的关键信息被丢弃，导致即使是高性能的GCSI算法也无法完全克服信息丢失带来的影响. 这表明虽然GCSI算法在一定程度上能够优化信息的保留，但在非常高的压缩率下有局限性. 传统的压缩方法如JPEG压缩在所有信噪比条件下性能提升有限，基于GCSI的压缩方法在信噪比提升时能够更有效地增强任务性能. 相比之下，基于GCSI的语义压缩方法能更好地保持数据的语义信息，这对于在复杂通信环境中传输信息至关重要. 图4表明，在实际应用中基于GCSI的语义压缩方法适应各种信道条件，特别是在信噪比低的情况下，该算法仍然能够保证高效且可靠的信息传输.

将信道带宽$B$定性地定义为满足时延限制条件下允许实际传输的语义特征个数^[26]. 如图5所示为固定信噪比条件下，不同信道带宽对不同压缩方法性能的影响. 结果表明，在不同的信噪比水平下，随着带宽的减小，3种压缩方法的性能均受到影响且差异明显. 随机压缩方法对带宽的依赖性最强，其任务性能随带宽的减小而大幅下降. 基于语义任务相关性的语义压缩虽然也表现出对带宽的依赖性，但其性能衰减速度较慢. 基于GCSI的语义压缩表现出对带宽变化的最小敏感性，即使在极低的带宽条件下，也能保持超过80%的任务处理性能，证明它具有出色的带宽适应性. 基于GCSI的方法不仅在低带宽条件下表现出色，在带宽充裕的环境中也能有效利用可用资源，保持高效的性能，能够在未来的大数据量智能物联网环境中发挥关键作用，减轻信道带宽的负担，提高数据传输的效率与可靠性. 面对日益增长的数据传输量，该方法可以为物联网设备提供更加稳定和高效的通信解决方案，支撑起智能物联网环境下的高速数据交换和处理需求.

CIFAR-10数据集涵盖10 000张测试图片. 如表2所示为不同压缩算法在 该数据集中的性能测试结果. 可以看出，在不同压缩率条件下，基于GCSI的语义压缩算法展现出良好的性能. 当压缩率设定为80%时，不同压缩算法在不同信噪比条件下的表现如图6所示. 可以看出，基于GCSI的语义压缩算法在低信噪比和高压缩率的环境下均有卓越的性能，证明该算法具备强大的泛化能力.

本研究提出基于全局相关语义重要性的语义压缩算法，引入GCSI参数，关注语义任务的相关性和语义特征内在的关联度，实现了全面而精准的语义重要性评估，最大化地提升了压缩性能. 实验结果表明，在多变的信道条件下，与传统压缩方式和现有语义压缩方法相比，所提算法表现出更优秀的任务性能和噪声稳定性，在相同的带宽和性能要求下，能够提供更为可靠的数据传输. 在未来的研究中，将持续推进和优化GCSI语义压缩算法，引入如注意力机制与图神经网络的深度学习架构，以提高该算法对多样数据类型和复杂通信场景的适应性. 针对算法在小型设备上的应用受计算复杂度较高的限制，将探索降低复杂度的方法，使算法适合更广泛的应用场景. 考虑实际中多模态多任务的背景，将通过广泛的实验探索并优化GCSI在各种数据集和通信环境下的泛化能力和稳定性. 将重点关注压缩率与语义信息保留质量的平衡，寻找合理的平衡点以确保在压缩过程中关键信息不丢失，特别是在对精确度和数据完整性要求较高的应用场景中.