浙江大学学报(工学版), 2020, 54(10): 1945-1954 doi: 10.3785/j.issn.1008-973X.2020.10.011

计算机技术

基于时频特征的卷积神经网络跳频调制识别

李红光,, 郭英,, 眭萍, 齐子森

Frequency hopping modulation recognition of convolutional neural network based on time-frequency characteristics

LI Hong-guang,, GUO Ying,, SUI Ping, QI Zi-sen

通讯作者: 郭英,女,教授. orcid.org/0000-0003-2879-6111. E-mail: kdydsp@163.com

收稿日期: 2019-09-23  

Received: 2019-09-23  

作者简介 About authors

李红光(1986—),男,博士,从事信息对抗理论的研究.orcid.org/0000-0002-3466-4396.E-mail:toumingwings@163.com , E-mail:toumingwings@163.com

摘要

针对人工设计特征表征能力不足,提取难度大的问题,提出基于卷积神经网络(CNN)的跳频信号调制方式识别系统. 该系统通过训练学习跳频信号时频图特征,将调制方式识别问题转化为图像识别问题. 采用组合时频变换方法对跳频信号进行时频变换得到二维时频图;经过自适应维纳滤波算法滤除背景噪声,提高系统抗噪性;采用连通域检测和双线性插值算法提取跳频信号每跳时频图,对时频图大小进行重置调整;将已处理的时频图输入到设计的11层卷积神经网络中进行训练学习,通过在输出层增加Softmax分类器,实现跳频调制方式分类识别. 仿真结果表明,该系统在信噪比为–4 dB条件下,对跳频信号BPSK、QPSK、8PSK、SDPSK、QASK、16QAM、32QAM和GMSK共8种调制方式的平均识别率达到92.54%.

关键词: 跳频信号 ; 调制识别 ; 卷积神经网络(CNN) ; 时频变换 ; 卷积层

Abstract

A frequency hopping signal modulation recognition system based on convolutional neural network (CNN) was proposed aiming at the problem of insufficient artificial feature representation ability and difficulty in extraction. The modulation recognition problem was transformed into an image recognition problem by learning the time-frequency characteristics of the frequency hopping signal. The two-dimensional time-frequency diagram was obtained by using time-frequency transform, and the adaptive Wiener filter was used to remove the background noise of the time-frequency diagram to improve system noise immunity. The connected-domain detection algorithm and the bilinear interpolation algorithm were applied to extract the time-frequency diagram of each hop and reset the size. The processed time-frequency map was input into the designed 11-layer convolutional neural network for training and learning. The classification and recognition of frequency hopping modulation were realized by adding a Softmax classifier in the output layer. The simulation results showed that the average recognition rate of the frequency hopping signals BPSK, QPSK, 8PSK, SDPSK, QASK, 16QAM, 32QAM and GMSK was 92.54% when the signal-to-noise ratio was –4 dB.

Keywords: frequency hopping signal ; modulation recognition ; convolutional neural network (CNN) ; time-frequency transform ; convolution layer

PDF (1630KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

李红光, 郭英, 眭萍, 齐子森. 基于时频特征的卷积神经网络跳频调制识别. 浙江大学学报(工学版)[J], 2020, 54(10): 1945-1954 doi:10.3785/j.issn.1008-973X.2020.10.011

LI Hong-guang, GUO Ying, SUI Ping, QI Zi-sen. Frequency hopping modulation recognition of convolutional neural network based on time-frequency characteristics. Journal of Zhejiang University(Engineering Science)[J], 2020, 54(10): 1945-1954 doi:10.3785/j.issn.1008-973X.2020.10.011

跳频(frequency hopping,FH)调制方式作为FH通信的重要参数,能够为敌我属性判别、定位干扰引导和情报信息提取等作战响应提供有力的保障. 现有的调制方式识别算法主要包括似然比判决和特征提取识别2类方法. 似然比判决方法的计算复杂度较高,模型失配问题严重,实际应用范围受限. 特征提取识别方法[1-4]主要利用瞬时波形、时频能量、星座图及高阶累积量等特征实现调制方式识别. Wang等[5]对接收的信号进行折叠预处理,利用改进的KS(Kolmogorov Smirnov,KS)分类器对调制方式进行识别;利用该算法降低了KS分类器的复杂度,所需信号的样本数量更少,识别速度更快. 赵雄文等[6]提取信号的高阶累积量和循环谱多维特征组成特征向量,利用智能决策方法进行分类识别;采用该算法能够实现9种数字调制方式的识别,识别率较高,抗噪性能较好. Xie等[7]将压缩感知理论运用到调制识别中,通过亚奈奎斯特速率采集信号,提取小波循环特征,同时采用分级特征缩减方法进一步降低数据维度;该算法的计算复杂度较低,识别调制样式种类较少. 上述方法均是通过提取人工设计的信号浅层特征实现调制方式识别,且特征设计依赖于研究人员的经验,提取难度大,适用的调制方式种类范围小,如何利用信号本身隐藏的深层特征,自动完成深层特征的提取和分类是目前研究的热点问题.

深度学习[8-12]通过训练和学习大量样本数据,形成多层深度神经网络,从而提取出样本深层隐藏特征,解决了人工设计特征难的问题,已在通信领域中得到应用. Li等[13]计算甚高频信号的循环频谱特征,利用卷积神经网络进行训练学习识别,识别率较高,所需样本数量较多,训练时间相对较长. 郭立民等[14]提出栈式稀疏自编码器的雷达信号调制方式识别算法,该算法对雷达信号进行时频变换,将时频矩阵作二值化处理和分割后作为自编码器的训练学习样本,但稀疏自编码器属于浅层学习网络,对训练样本的深层特征表示能力不足,在低信噪比下,分类识别能力下降. 上述方法只适用于定频信号,对于载频伪随机跳变的FH信号,识别效果下降明显. 本文提出基于组合时频变换和卷积神经网络(convolutional neural network,CNN)的FH信号调制方式识别算法. 该算法通过组合时频变换提取FH信号时频图,利用自适应维纳滤波算法滤除时频图的背景噪声,提高时频图的表征能力;利用连通域检测和双线插值算法,将时频图分割成适合CNN训练学习的维度. 为了提高CNN的分类识别性能,通过自适应矩估计[15](adaptive moment estimation,Adam)算法对CNN超参数进行优化.

1. 算法原理

假设采集 $M$跳FH信号,数学表达式为

${w}\left( {t} \right){ = }\sum\limits_{{m = 1}}^{M} {{{x}_{m}}\left( {t} \right)} { + v}\left( {t} \right).$

式中: ${w}\left( {t} \right)$表示FH与噪声的混合信号; ${x_m}\left( t \right)$表示第 $m$跳的FH信号,其中 $m \in \left\{ {1,2, \cdots ,M} \right\}$$v\left( t \right)$表示高斯白噪声,均值为0,方差为 ${\sigma ^2}$.

令FH信号的跳周期为 ${T_{\rm{s}}}$,起始跳的持续时间为 $\varphi {T_{\rm{s}}}$${f_m}$为第 $m$跳的载波频率,且接收机采集的第一跳FH信号一般是不完整周期的,即 $0 < \varphi < 1.0$. ${x_m}(t)$可以表示为

${x_m}(t) = a\exp\; \left[ {{\rm{j}}\left( {2{\text{π}} {f_m}t' + \phi \left( {t'} \right) + {\phi _0}} \right)} \right]{\rm{rect}}\;\left( {{{t'} / {{T_{\rm{s}}}}}} \right).$

式中: $t' = t - \varphi {T_{\rm{s}}}$a为FH信号 ${x_m}(t)$幅度; ${\phi _0}$为FH信号 ${x_m}(t)$的初始相位; $\phi \left( {t'} \right)$为FH信号 ${x_m}(t)$的相位函数,反映了FH调制方式种类; ${\rm{rect}}\;(t)$为单位矩形脉冲. 为了提取表征 $\phi \left( {t'} \right)$的深层特征,提出基于CNN的FH调制方式识别系统. 运算流程如图1所示.

图 1

图 1   基于CNN的跳频调制方式识别流程

Fig.1   Identification process of FH modulation based on CNN


不同调制类型信号之间最重要的区别是相位函数形式,即瞬时频率函数的差异特性. 本文算法的核心思想是将FH调制方式识别问题转换为时频图特征识别问题. 从图1可知,该系统由数据预处理和CNN训练识别两部分组成,其中数据预处理主要是对时频图进行去噪提取和分割重置,CNN训练识别主要是对已重置时频图进行训练学习和分类识别.

1.1. FH信号时频图提取

目前,时频变换方法主要有短时傅里叶变换(short-time Fourier transform,STFT)、Wigner-Ville分布(Wigner-Ville distribution,WVD)、伪Wigner-Ville分布(pseudo Wigner-Ville distribution,PWVD)、平滑伪魏格纳分布(smoothed pseudo Wigner-Ville distribution,SPWVD)、Cohen分布(Choi-Williams distribution,CWD)和稀疏重构类算法. STFT无交叉项影响,时频分辨率低;WVD交叉项严重,时频分辨率高;PWVD和SPWVD通过增加窗函数,对交叉项有一定的抑制作用,但时频分辨率相比WVD下降明显. CWD的时频聚焦性和交叉项抑制相互制约. 稀疏重构类算法主要有近似0范数算法和稀疏贝叶斯(sparse Bayesian learning,SBL)算法[16]. 该类算法利用FH信号在时频域的稀疏性,通过构建频率域的超完备字典,求解欠定线性方程组的最优稀疏解,实现时频参数估计. 该类算法需要已知跳频频率集先验条件来构建频率字典,在求解最优解过程中计算复杂度较高. 利用STFT无交叉项和WVD时频分辨率高的特点,通过STFT&WVD组合时频方法完成采样数据的时频变换,具体的算法流程如下.

1)完成时域采样数据的STFT时频变换 ${\rm{stft}}\left( {\mu ,\nu } \right)$、CWD时频变换 ${\rm{cwd}}\left( {\mu ,\nu } \right)$.

2)对 $\left| {{\rm{stft}}\left( {\mu ,\nu } \right)} \right|$的能量作直方图统计,由于噪声在时频矩阵 ${\rm{stft}}\left( {\mu ,\nu } \right)$所占比例较高,直方图统计峰值对应的能量为噪声能量 ${e_v}$.

3)根据式(3)对 ${\rm{stft}}\left( {\mu ,\nu } \right)$进行截断处理,得到中间变换矩阵:

${\rm{tfm}}\left( {\mu ,\nu } \right){\rm{ = }}\left\{ \begin{array}{l} {\rm{1}},\begin{array}{*{20}{c}} {}&{ \left| {{\rm{stft}}\left( {\mu ,\nu } \right)} \right| \geqslant \varepsilon; } \end{array} \\ {\rm{0}},\begin{array}{*{20}{c}} {}&{\left| {{\rm{stft}}\left( {\mu ,\nu } \right)} \right| < \varepsilon. } \end{array} \\ \end{array} \right.$

式中: $\varepsilon $为阈值,取值略大于 ${e_v}$,本文 $\varepsilon {\rm{ = }}1.2{e_v}$.

4)STFT&WVD组合时频变化的结果 ${\rm{tfm}}\left( {\mu ,\nu } \right) = {\rm{stft}}\left( {\mu ,\nu } \right) \odot {\rm{cwd}}\left( {\mu ,\nu } \right)$,其中运算符 $ \odot $表示Hadamard积运算.

为了对比分析STFT&WVD方法提取FH信号的时频图效果,设置采样率为200 kHz,在信噪比为0 dB的条件下,采集长度为1 500个采样点的FH信号,噪声为高斯白噪声,跳周期为200个采样点,调制方式为QPSK,跳频率集设置为{10,45,20,30,15,40,50} kHz,CWD的参数 $\sigma $取10,SBL算法的超完备频率字典范围是1~60 kHz,间隔设为100 Hz,基消除阈值设为0.4,则STFT、CWD、SBL和STFT&WVD 4种方法的时频图如图2所示. 图中, ${f_{\rm{c}}}$为FH频率, $n$为采样点数.

图 2

图 2   4种时频变换方法的FH信号时频图

Fig.2   Time-frequency diagrams of FH signals based on four time-frequency transform methods


图2可知,对于FH信号,在相同信噪比的条件下,STFT时频的聚焦性较差,CWD交叉项干扰严重,SBL既克服了交叉项干扰,又有较高的时频分辨率,但是超完备字典网格划分和基消除阈值设置严重影响算法时频分析性能和算法复杂度. 如图2(c)所示,由于网格间隔设置不合适,跳频率为45和15 kHz的时频谱估计干扰严重,调制特征信息丢失. 增加SBL网格密度,可以提高时频估计精度,同时会严重增大计算复杂度,不适用于对大量FH信号数据样本的预处理. STFT&WVD方法可以抑制交叉项影响,时频分辨率较高,综合考虑选取STFT&WVD计算时频图.

1.2. 时频图去噪与分割

在低信噪比的条件下,STFT&WVD时频图中存在背景白噪声[17],严重影响CNN训练学习,为了提高训练样本的表征能力,需要对时频图进行去噪处理. 二维维纳滤波[18]是一种自适应滤波器,对白噪声具有良好的滤波效果.

令图像 ${{{{H}}}_{m \times n}}$的像素为 $m \times n$${{{H}}}\left( {i,j} \right)$表示第 $i$$j$列的像素, $i{\rm{ = }}1, \cdots ,m$$j{\rm{ = }}1, \cdots ,n$. 在图像 ${{{{H}}}_{m \times n}}$中选取 $a \times b$像素大小的图像域 ${\eta _{a \times b}}$$1 < a < m$$1 < b < n$,可得 ${\eta _{a \times b}}$的均值 $\mu $${\sigma ^2}$

$\left. \begin{aligned} &\mu = \frac{1}{{ab}}\sum\limits_{i,j \in \eta } {{{{H}}}\left( {i,j} \right)}, \\ &{\sigma ^2} = \frac{1}{{ab}}\sum\limits_{i,j \in \eta } {{{{{H}}}^2}\left( {i,j} \right)} - {\mu ^2}. \\ \end{aligned} \right\}$

可以计算得到滤除白噪声之后的图像 ${{{{P}}}_{m \times n}}$

${{{P}}}\left( {i,j} \right) = \mu + \frac{{{\sigma ^2} + \sigma _N^2}}{{{\sigma ^2}}}\left[ {{{{H}}}\left( {i,j} \right) - \mu } \right].$

式中: $\sigma _N^2$为噪声方差,由于噪声方差是未知的,可以由估计的平均方差代替. 经过大量实验验证可知,当 ${\eta _{a \times b}}$设为 $16 \times 16$时,滤除时频图噪声效果最好.

为了降低计算复杂度并简化卷积神经网络分类器的复杂性,利用连通域检测方法提取每一跳的时频图,通过双线性插值算法调整每跳时频图的大小. 将图像 ${{{{P}}'}_{m' \times n'}}$重置为图像 ${{{{Q}}}_{l \times k}}$,可以通过下式计算 ${{{{Q}}}_{l \times k}}$的像素点:

${{{Q}}}\left( {\gamma ,\lambda } \right) = {{{P}}'}\left( {i + p,j + q} \right),$

$\begin{split} {{{P}}'}\left( {i + p,j + q} \right) =& (1 + p)(1 - q){{{P}}'}\left( {i,j} \right) + \\ &{(1 - p)} q{{{P}}'}\left( {i,j{\rm{ + }}1} \right) + \\ &{p(1 - q)} {{{P}}'}\left( {i + 1,j} \right) + \\ &{pq}{{{P}}'}\left( {i + 1,j + 1} \right) . \end{split}$

式中: $i$$p$分别为 ${{m'\gamma } / l}$的整数和小数部分, $j$$q$分别为 ${{n'\lambda }/ k}$的整数和小数部分. 如图3所示为经过去噪后,BPSK、QPSK、MSK、QAM和QASK 5种跳频调制信号单跳时域和时频域特征的对比图. 图中, ${f_{{\rm{nor}}}}$为归一化频率, ${V_{{\rm{nor}}}}$为归一化幅度.

图 3

图 3  

Fig.3  


图3可知,不同调制方式的跳频信号时频图能够有效地反映调制信号的波形特点和能量分布特征. 特别是对于时域波形特征明显的MSK和QASK调制方式,时频图特征更加显著. 在数据预处理阶段,提取每段时域样本数据的单跳时频图,按照采样时序组成训练测试集. 该集合既可以反映不同调制方式FH信号时域波形和时频能量分布特征,又可以减小FH信号载频变化对信号能量分布的影响,提高CNN提取特征的表征能力.

图 3

图 3   5种跳频调制信号单跳时域和时频域特征图

Fig.3   Single-hop time-frequency feature map of five frequency hopping signals


1.3. CNN设计与分类

CNN是专门处理相似网络数据结构的多隐层神经网络,广泛应用于图像识别领域. 经典的CNN模型[19]主要由输入层、卷积层、全连接层和激活函数组成,基本网络结构如图4所示. 图中,“+”表示后续可以加一层或者多层,“?”表示是否加池化层.

图 4

图 4   CNN训练识别基本结构

Fig.4   CNN training recognition basic structure


假设卷积层 ${{{I}}}$的输入大小为 $M \times M \times D$$D$为通道数,卷积核 ${{{K}}}$大小为 $N \times N \times D$,共有 $P$个,卷积步进 $\varepsilon $为1,则卷积过程如下:

$\begin{split} {{{S}}}\left( {i,j,p} \right) =& \displaystyle\sum\limits_{k = 1}^D {\displaystyle\sum\limits_{m = 0}^{N - 1} {\displaystyle\sum\limits_{n = 0}^{N - 1} {{{{I}}}\left( {i + m,j + n,k} \right)} } } \times \\ &{K_p}\left( {m,n,k} \right) + {\rm{bia}}{{\rm{s}}_p}. \end{split}$

式中: ${{{S}}}$为卷积输出; $i,j \in \left[ {1,L} \right]$,其中 $L{\rm{ = }}\left\lfloor {{{\left( {M - N} \right)} / }} \right.$ $\left. \varepsilon + 1 \right\rfloor $${K_p}$为第 $p$个卷积核; ${\rm{bia}}{{\rm{s}}_p}$为第 $p$个卷积核偏差,其中 $p \in \left[ {1,P} \right]$.

为了使深度神经网络具备分层的非线性映射学习能力,在卷积输出之后需要添加非线性激活函数,引入PReLU[20]函数作为激活函数,能够自适应地从训练样本中学习参数,收敛速度快,错误率低. PReLU函数的表达式为

$f\left( x \right) = \max \left\{ {\alpha x,x} \right\}.$

式中: $\alpha $为坡度因子, $0 < \alpha < 1.0$$\alpha $越小,对负数部分的修正越小. 卷积层输出,即特征映射可以表示为

${{{{S}}}_{{\rm{out}}}}\left( {i,j,p} \right) = \max \;\left[ {\alpha {{{S}}}\left( {i,j,p} \right),{{{S}}}\left( {i,j,p} \right)} \right].$

为了降低数据维数,避免过拟合,需要池化层对卷积输出结果进行处理. 假设池化层大小为 $2 \times 2$,步进为2,输出结果 ${{{{{{S}}}}}_{\rm{d}}}$可以表示为

$\begin{split} {{{S}}_{\rm{d}}}\left( {i,j,p} \right) = &\mathop {\max }\limits_{m,n \in \left( {0,1} \right)} {{{S}}_{{\rm{out}}}}( {2i + m - 1,} {{ {2j + n - 1,\;p} )} }. \end{split}$

式中: $i,j \in \left[ {1,\left\lceil {{L / 2}} \right\rceil } \right]$. 当卷积层 ${{{{S}}}_{{\rm{out}}}}$不满足池化层输入要求时,可以通过补零方式增加数据维数. 经过式(9)~(11)三级运算,得到最后一级卷积层输出向量 ${{{{S}}}_l}$. 全连接层 ${{{l}}}$和输出层 ${{{u}}}$的结果为

${{{l}}} = f\left( {{{{{W}}}_1}{{{{S}}}_l} + {{{{b}}}_1}} \right),$

${{{u}}} = {{{{W}}}_2}{{{l}}} + {{{{b}}}_2}.$

式中: ${{{{W}}}_1}$${{{{S}}}_l}$${{{l}}}$权重矩阵, ${{{{W}}}_2}$${{{l}}}$${{{u}}}$权重矩阵, ${{{{{{b}}}}}_1}$为全连接层 ${{{l}}}$的偏差, ${{{{{{b}}}}}_2}$为输出层 ${{{u}}}$的偏差.

为了得到最终的分类结果,需要在输出层增加Softmax分类器,分类结果 ${{{{y}}}_{\rm{c}}}$可以表示为

$y_{\rm{c}}^\tau = P\left( {y = \tau |{{u}}} \right) = {{{\exp{{u^\tau }}}} \bigg/ {\sum\limits_{\tau = 1}^8 {{\exp{{u^\tau }}}} }}.$

式中: ${{{{y}}}_{\rm{c}}}{\rm{ = }}{\left[ {y_{\rm{c}}^1,y_{\rm{c}}^2,y_{\rm{c}}^3,y_{\rm{c}}^4,y_{\rm{c}}^5,y_{\rm{c}}^6,y_{\rm{c}}^7,y_{\rm{c}}^8} \right]^{\rm{T}}}$$\tau {\rm{ = }}\left[ {1, \cdots ,8} \right]$$y_{\rm{c}}^\tau $为输入为 $\tau $类的概率; ${u^\tau }$${{u}}$的第 $\tau $个元素;CNN的最终分类结果是 ${{{{y}}}_{\rm{c}}}$中概率最大值.

CNN网络模型根据应用环境、数据类型及数据分布的特点,具有不同的最优模型结构. 为了提高CNN的FH调制识别性能,需要对网络的层数、卷积核的高度和宽度、卷积核的数目等超参数进行优化. 采用交叉熵代价函数作为损失函数,如下.

$\min \left\{ { - \left[ {{{{y}}}\lg\; {\hat{y}} + \left( {1 - {{{y}}}} \right)\lg\; \left( {1 - {\hat{y}}} \right)} \right]} \right\}.$

式中: $y $为训练样本的类别标签, $\hat{y} $为神经网络的输出值.

在CNN训练阶段,利用Adam方法优化CNN超参数,提高训练收敛速度和识别率. Adam参数的更新方法如下.

$\left. \begin{aligned} &{{{E}}_t}\left( {{g}} \right) = {\beta _{1}}{{{E}}_{t - 1}}\left( {{g}} \right) + \left( {1 - {\beta _1}} \right){{g}}\left( {{\theta _t}} \right),\\ &{{{E}}_t}\left( {{{{g}}^2}} \right) = {\beta _{2}}{{{E}}_{t - 1}}\left( { {{{{g}}^2}}} \right) + \\ &\;\;\;\;\;\;\;\;\;\;\;\;\left( {1 - {\beta _2}} \right){{g}}\left( {{{{\theta}} _t}} \right) \odot {{g}}\left( {{{{\theta}} _t}} \right),\\ &{\eta _t} = \eta {{\sqrt {1 - \beta _2^t} } / \left({1 - \beta _1^t}\right)}; \end{aligned} \right\}$

${{{\theta}} _{t + 1}} = {{{\theta}} _t} - {\eta _t}{\left[ {{\rm{diag}}\left( {{{{{E}}}_t}\left( {{{{g}}^2}} \right)} \right) + \varepsilon {{{I}}}} \right]^{ - {1 / 2}}}{{{{E}}}_t}\left( {{g}} \right).$

式中: ${{{{E}}}_t}\left({{ g}} \right)$${{{{E}}}_t}\left( {{{{g}}^2}} \right)$为梯度向量 ${{g}}$的一阶矩和二阶矩;β1β2为超参数,β1β2$ \in \left[ {0,1.0} \right)$$\eta $为学习步长; ${{{I}}}$为单位阵. 本文中 ${\beta _{1}}{\rm{ = }}0.9,\;{\beta _{2}}{\rm{ = }}0.999$$\eta {\rm{ = }}0.9$$\varepsilon {\rm{ = }}{10^{{\rm{ - }}18}}$.

1.4. 算法步骤

基于卷积神经网络的FH信号调制识别系统的具体步骤如下.

1)通过STFT&WVD方法获得FH信号时频图 ${{{{H}}}_{m \times n}}$,大小为 $1\; 024 \times 1\; 024$.

2)利用自适应维纳滤波算法滤除时频图背景噪声,得到清晰时频图 ${{{{P}}}_{m \times n}}$. 其中维纳滤波图像域 ${\eta _{a \times b}}$设置为 $16 \times 16$.

3)通过连通域检测算法提取FH信号各跳时频图,利用双线性插值算法调整每跳时频图的大小为 $64 \times 64$.

4)利用步骤1)~3)获得的时频图数据样本,训练本文的CNN网络.

5)利用经步骤4)训练好的CNN网络,识别经过步骤1)~3)预处理的待测FH时频图样本,得到最终分类结果.

2. 实验仿真与分析

2.1. 实验环境与数据集

该实验的电脑配置如下:Intel酷睿i7 6700K CPU @4 GHz,32 GB内存,Windows 1064 bit系统,GPU为NVIDIA GTX1060. 开发环境如下:Python编译器Anaconda,加速库CUDA 10.0,TensorFlow 2.0和PyCharm编辑器.

该实验数据集的FH信号跳周期为200采样点,采样率为200 kHz,频率集为{10,45,20,30,5,15,25,35,50} kHz,调制方式有BPSK、QPSK、8PSK、SDPSK、QASK、16QAM、32QAM和GMSK共8种,初始相位设为0,巴克码长在{5,7,9,13}中随机取值,码周期为随机16~32采样点,加性噪声为高斯白噪声,均值为零. 为了方便、快速地训练CNN网络,利用本文预处理方法提取FH信号的单跳时频图并调整时频图大小. 每种调制信号在信噪比为−10~10 dB的条件下,每间隔1 dB采集FH信号并按观测时序提取单跳时频图400幅,大小均为 $64 \times 64$,对不同调制方式作好标签,其中训练样本300幅,验证样本和测试样本各50幅,则训练集共50 400幅时频图,验证集和测试集各8 400幅时频图. 采用识别率 ${T_{\rm{c}}}$作为算法识别性能的评价标准,定义为

${T_{\rm{c}}} = {{{M_{\rm{c}}}} / {{N_{\rm{c}}}}}.$

式中: ${M_{\rm{c}}}$为被正确识别样本数, ${N_{\rm{c}}}$为测试样本总数.

2.2. CNN网络层数分析

结合历年ImageNet比赛的CNN模型和相关研究成果[21-23],针对时频图识别的CNN网络结构应该包括3~6个卷积层、3~5个池化层、1~3个全连接层. 经过对大量网络结构组合进行训练测试之后,选取测试中4种典型的结构组合进行分析,结构参数如图5所示.

图 5

图 5   4种典型的CNN调制识别结构

Fig.5   Four typical CNN modulation recognition structures


图5中,CONV3-8为8个 $3 \times 3$的卷积核,FC-128表示128个神经元的全连接层. 实验中卷积函数padding设置为same,保证卷积层输入输出维数不变,激活函数均为PReLU函数,池化层采用最大池化方法,步长为2,损失函数为交叉熵代价函数,batch设为64,学习速率为0.0001,4种CNN网络结构的训练情况如图6所示. 图中, ${R_{{\rm{psr}}}}$为识别正确率, ${L_{{\rm{loss}}}}$为损失值, ${N_{{\rm{epoch}}}}$为训练轮次数.

图 6

图 6   4种CNN结构的调制识别率和损失值的训练结果

Fig.6   Training results of modulation recognition rate and loss value of four CNN structures


图6可知,CNN_3和CNN_4识别率相对较高,CNN_2和CNN_3均在15轮左右训练好模型,收敛相对较快,增加CNN网络层有利于提取时频图深层特征,提高了识别率,但收敛速度变慢. 为了增加实验的可靠性,该实验重复20次,实验结果如表1所示.

表 1   不同样本集下的4种CNN调制识别训练结果

Tab.1  Four CNN modulation recognition training results under different sample sets

CNN结构 训练集 验证集 测试集
Rpsr / % Lloss Rpsr / % Lloss Rpsr / % Lloss
CNN_1 100 0.0076 80.05 0.0892 79.59 0.0928
CNN_2 100 0.0045 81.92 0.0812 81.21 0.0873
CNN_3 100 0.0027 85.06 0.0553 84.83 0.0576
CNN_4 100 0.0032 84.69 0.0574 84.14 0.0603

新窗口打开| 下载CSV


表1可知,CNN_3的识别率较高,说明具有3个池化层和2个全连接层的网络结构对时频图的识别效果更好.CNN_3最后提取的特征大小是 $4 \times 4$,若继续增加网络深度,则提取的特征会进一步变小,导致丢失部分特征信息,识别率下降,因此采用CNN_3结构.

2.3. CNN卷积层分析

卷积层是CNN网络结构的核心层,用来提取图像边缘、纹理、线条及局部特征信息. 卷积核越大,感受野越大,提取的特征信息越全面,但参数越多,导致网络的识别效率降低. 为了选取合适的卷积核尺寸和参数,采用CNN_3结构,分析卷积核 $3\times3({\text{核参数}}\;{{r}} = 2)$$5 \times 5({{r}} = 2)$$7 \times 7({{r}} = 2)$$3 \times 3 ({{r}} = 4)$$3 \times 3({{r}} = 6)$$3 \times 3({{r}} = 8)$6种参数组合对CNN网络识别性能的影响. 实验中,每种参数组合均重复20次,实验结果如表2所示. 表中, ${K_{\rm l}}$为核大小, ${R_{\rm{c}}}$为参数内存消耗, $V$为训练速度.

表 2   6种参数组合的CNN调制识别训练结果

Tab.2  Training results of CNN modulation recognition based on six parameter combinations

${K_{\rm l}}$ r ${R_{\rm{c}}}$/kB $V$/(幅·s−1 ${R_{{\rm{psr}}}}$/%
$7 \times 7$ 2 2269.476 2.92 91.32
$5 \times 5$ 2 1585.653 5.24 87.39
$3 \times 3$ 2 357.248 8.23 83.46
$3 \times 3$ 4 357.248 8.23 86.75
$3 \times 3$ 6 357.248 8.23 90.14
$3 \times 3$ 8 357.248 8.23 91.18

新窗口打开| 下载CSV


表2可知,在相同的网络结构下, $7 \times 7({{r}} = 2)$卷积核网络的感受野较大,可以提取更多的特征信息,所以识别效果最好,识别率达到91.32%,但是训练速度较慢,每分钟平均训练2.92幅时频图,参数量相对较大,整个识别网络运行相对较慢. 随着卷积核尺寸的减小,网络训练速度提高,参数量下降明显,但识别率随之下降, $3 \times 3 ({{r}} = 2)$卷积核网络的识别率下降到83.46%. 为了在不增加参数量的基础上,提高识别率,可以通过调整核参数来提高网络的感受野. 从表2可知, $3 \times 3 ({{r}} = 8)$卷积核网络的识别率几乎和 $7 \times 7({{r}} = 2)$卷积核网络相同,但参数量更少,因此选取 $3 \times 3$的卷积核,核参数为8. 采用的CNN完整网络结构如图7所示.

图 7

图 7   基于CNN的跳频调制方式识别结构

Fig.7   Identification structure of FH modulation based on CNN


2.4. CNN过拟合分析

表1可知,训练集的识别率达到100%,验证集和测试集的识别率均降低了至少15%,说明模型在训练过程中过拟合. 采用Dropout[24]方法,按照预设比例,丢弃部分神经元来避免过拟合,提高模型的泛化能力. 为了设置合适的Dropout比例,在2.3节的基础上添加不同比例的Dropout,比例为0%~90%,间隔10%,共10组,每组实验重复20次,实验结果如表3所示.

表 3   不同Dropout比例的CNN调制识别训练结果

Tab.3  CNN modulation recognition training results with different Dropout ratios

p/% 训练集 验证集 测试集
Rpsr / % Lloss Rpsr / % Lloss Rpsr / % Lloss
0 100 0.006 2 91.88 0.085 3 90.05 0.087 4
10 100 0.013 7 87.92 0.184 7 87.42 0.188 5
20 100 0.006 9 89.24 0.093 8 88.21 0.100 4
30 100 0.007 5 88.13 0.096 6 87.98 0.099 5
40 99.93 0.062 1 90.75 0.088 2 90.62 0.110 6
50 100 0.003 8 92.81 0.087 1 92.63 0.095 4
60 100 0.004 3 89.46 0.109 2 88.34 0.101 3
70 99.96 0.076 7 88.25 0.114 7 87.83 0.132 8
80 100 0.006 6 91.33 0.087 1 91.35 0.099 6
90 100 0.009 2 89.75 0.093 6 89.43 0.101 2

新窗口打开| 下载CSV


表3可知,当Dropout比例p为50% 时,CNN网络的识别率最高,其他比例均不同程度地降低,主要是由于Dropout比例为50%时随机生成的网络结构最多,降低了网络的预测风险,但是收敛速度略有下降. 综合考虑,本文CNN网络添加50% 的Dropout来减弱过拟合.

2.5. 算法性能分析

对比分析文献[17]、[21]和本文算法的调制识别性能.Zhang等[17]采用CWD方法获取时频图并进行二值化处理,提取二值化时频图的不变矩、伪Zernike矩、Renyi熵及主成分分析特征,采用Elman神经网络分类器对提取的多维特征集进行分类识别. Zhang等[21]采用CWD方法提取时频图,通过最近邻插值算法重置时频图,利用经典的LeNet-5神经网络进行训练、分类识别. 在实验中,每种调制信号在信噪比为−10~6 dB的条件下,每间隔2 dB采集300个样本,每个样本时长为1 024个采样点,8种调制FH信号共28 800个测试样本. 在每个信噪比条件下开展20次识别仿真实验,文献[17]、[21]和本文算法在不同信噪比条件下的平均识别率如图8所示. 图中, ${\rm{SNR}}$为信噪比.

图 8

图 8   不同信噪比下的FH调制识别率

Fig.8   FH modulation recognition rate under different SNR


图8可知,3种算法的识别率随着信噪比增加均有所提高,当信噪比大于2 dB时,3种算法的识别率基本保持不变,且该算法的识别率相对较高. 当信噪比小于−4 dB时,3种算法的识别率下降较明显. 当信噪比为−4 dB时,该算法的平均识别率可以达到85%,高于其他2种算法,特别是对于时频特征明显的QPSK、8PSK、QASK和GMSK调制方式,该算法在信噪比为−6 dB时,识别率大于80%. 文献[17]算法的识别率均低于文献[21]算法和本文算法,说明人工提取的特征具有一定的局限性,不能反映各调制方式的深层特征信息. 当信噪比小于−6 dB时,文献[21]算法的识别率很低,对8种调制方式基本不能正确识别. 当信噪比较低时,该算法较文献[21]算法具有更高的识别率和抗噪性能. 主要原因是该算法通过STFT&WVD组合时频方法和自适应维纳滤波,去除大部分背景噪声,提高了低信噪比条件下的时频图分辨率. 该算法建立了比LeNet-5更合理的CNN网络结构和参数设置,使得本文CNN网络比LeNet-5更适合FH调制识别场景.

表4给出当信噪比为–4 dB时,该算法对8种FH信号调制方式的识别结果. 从表4的识别结果可知,8种FH信号调制方式的平均识别率为92.54%;对于时频图特征较明显的QPSK、QASK和GMSK调试方式,识别率相对较高,可以达到94.2%;对于SDPSK和BPSK 2种调试方式,由于时频图背景噪声的影响,所提取的特征表征能力下降,导致识别率相对较低,但可以达到89%以上,说明该算法具有较好的抗噪性能,当信噪比较低时,系统的调制识别率较高.

表 4   信噪比为−4 dB时8种FH信号调制方式的识别结果

Tab.4  Eight kinds of modulated FH signal recognition results when SNR is −4 dB

输出 Rpsr /%
输入BPSK 输入QPSK 输入SDPSK 输入8PSK 输入QASK 输入16QAM 输入32QAM 输入GMSK
BPSK 89.2 1.3 6.8 1.8 0 1.6 0 1.5
QPSK 2.1 94.2 1.3 3.1 0.5 0 1.8 1.3
SDPSK 8.1 1.4 91.1 1.7 0 0 0 2.1
8PSK 0.6 2.3 0.8 92.8 0 0 0 0.5
QASK 0 0.8 0 0.6 94.6 2.5 1.4 0
16QAM 0 0 0 0 3.2 91.7 4.7 0
32QAM 0 0 0 0 1.7 4.2 92.1 0
GMSK 0 0 0 0 0 0 0 94.6

新窗口打开| 下载CSV


3. 结 语

本文提出基于卷积神经网络的FH信号调制方式识别系统,通过训练学习FH信号时频图深层特征,将调制识别问题转化为图像识别问题,避免了人工设计特征提取难度大的问题. 该系统采用STFT&WVD方法将FH信号时频变换,利用自适应维纳滤波算法滤除噪声,提高系统的抗噪性能;通过设计的11层卷积神经网络;实现FH信号调制方式识别. 仿真实验表明,在较低的信噪比条件下,本文方法对BPSK、QPSK、SDPSK、8PSK、QASK、16QAM、32QAM和GMSK共8种FH信号调制方式具有较高的识别率,为后续FH信号基带数据解调和网台分选打下坚实基础. 如何在保证分类正确率的基础上,提高系统学习分类的时效性,进一步优化CNN网络结构参数是下一步的研究重点.

参考文献

HAN L B, GAO F F, LI Z, et al

Low complexity automatic modulation classification based on order-statistics

[J]. IEEE Transactions on Wireless Communications, 2017, 16 (1): 400- 411

DOI:10.1109/TWC.2016.2623716      [本文引用: 1]

DOBTE O A, ONER M, RAJAN S, et al.

Cyclostationarity-based robust algorithms for QAM signal identification

[J]. IEEE Communications Letters, 2012, 16 (1): 12- 15

DOI:10.1109/LCOMM.2011.112311.112006     

SU W

Feature space analysis of modulation classification using very high-order statistics

[J]. IEEE Communications Letters, 2013, 17 (9): 1688- 1691

DOI:10.1109/LCOMM.2013.080613.130070     

吴斌, 袁亚博, 汪勃

基于记忆因子的连续相位调制信号最大似然调制识别

[J]. 电子与信息学报, 2016, 38 (10): 2546- 2552

[本文引用: 1]

WU Bin, YUAN Ya-bo, WANG Bo

Maximum likelihood modulation recognition for continuous phase modulation signals using memory factor

[J]. Journal of Electronics and Information Technology, 2016, 38 (10): 2546- 2552

[本文引用: 1]

WANG F G, DOBRE O A, CHAN C, et al.

Novel fold-based kolmogorov-smirnov modulation classifier

[J]. IEEE Signal Processing Letters, 2016, 23 (7): 1003- 1007

DOI:10.1109/LSP.2016.2572666      [本文引用: 1]

赵雄文, 郭春霞, 李景春

基于高阶累积量和循环谱的信号调制方式混合识别算法

[J]. 电子与信息学报, 2016, 38 (3): 674- 680

[本文引用: 1]

ZHAO Xiong-wen, GUO Chun-xia, LI Jing-chun

Mixed recognition algorithm for signal modulation schemes by high-order cumulants and cyclic spectrum

[J]. Journal of Electronics and Information Technology, 2016, 38 (3): 674- 680

[本文引用: 1]

XIE L J, WAN Q

Cyclic feature based modulation recognition using compressive sensing

[J]. IEEE Wireless Communications Letters, 2017, 6 (3): 402- 405

DOI:10.1109/LWC.2017.2697853      [本文引用: 1]

ZIEGLER J L, ARN R T, CHAMBERS W, et al. Modulation recognition with GNU radio, keras, and hackrf [C]// IEEE International Symposium on Dynamic Spectrum Access Networks. Piscataway: IEEE, 2017: 1-3.

[本文引用: 1]

LI X Q, HUANG Z T, WANG F H, et al

Towards convolutional neural networks on pulse repetition interval modulation recognition

[J]. IEEE Communications Letters, 2018, 22 (11): 2286- 2289

DOI:10.1109/LCOMM.2018.2864725     

QU Z Y, MAO X J, DENG Z A

Radar signal intra-pulse modulation recognition based on convolutional neural network

[J]. IEEE Access, 2018, 6 (1): 43874- 43884

RAJENDRAN S, MEERT W, GIUSTINIANO D, et al

Deep learning models for wireless signal classification with distributed low-cost spectrum sensors

[J]. IEEE Transactions on Cognitive Communications and Networking, 2018, 4 (3): 433- 445

DOI:10.1109/TCCN.2018.2835460     

ALI A, FAN Yang-yu

K-sparse autoencoder based automatic modulation classification with low complexity

[J]. IEEE Communications Letters, 2017, 21 (10): 2162- 2165

DOI:10.1109/LCOMM.2017.2717821      [本文引用: 1]

LI R D, LI L Z, YANG S Y, et al

Robust automated VHF modulation recognition based on deep convolutional neural networks

[J]. IEEE Communications Letters, 2018, 22 (5): 946- 949

DOI:10.1109/LCOMM.2018.2809732      [本文引用: 1]

郭立民, 寇韵涵, 陈涛

基于栈式稀疏自编码器的低信噪比下低截获概率雷达信号调制类型识别

[J]. 电子与信息学报, 2018, 40 (4): 875- 881

[本文引用: 1]

GUO Li-min, KOU Yun-han, CHEN Tao

Low probability of intercept radar signal recognition based on stacked sparse auto-encoder

[J]. Journal of Electronics and Information Technology, 2018, 40 (4): 875- 881

[本文引用: 1]

KINGMA D, BA J. Adam: a method for stochastic optimization [C]// The 3rd International Conference on Learning Representations. San Diego: IEEE, 2015: 1-15.

[本文引用: 1]

张坤峰, 郭英, 齐子森, 等

基于稀疏贝叶斯重构的多跳频信号参数估计

[J]. 华中科技大学学报: 自然科学版, 2017, 45 (1): 97- 102

[本文引用: 1]

ZHANG Kun-feng, GUO Ying, QI Zi-sen, et al

Parameter estimation of multi-hop frequency signals based on sparse Bayesian reconstruction

[J]. Journal of Huazhong University of Science and Technology: Natural Science Edition, 2017, 45 (1): 97- 102

[本文引用: 1]

ZHANG M, LIU L T, DIAO M

LPI radar waveform recognition based on time-frequency distribution

[J]. Sensors, 2016, 16 (10): 1682- 1702

DOI:10.3390/s16101682      [本文引用: 5]

STANKOVIC S, DJUROVIC I, PITAS I

Watermarking in the space/spatial-frequency domain using two-dimensional Radon-Wigner distribution

[J]. IEEE Transactions on Image Processing, 2001, 10 (4): 650- 658

DOI:10.1109/83.913599      [本文引用: 1]

DENG L, YU D

Deep learning: methods and applications

[J]. Foundations and Trends in Signal Processing, 2014, 7 (3): 197- 387

[本文引用: 1]

HE K M, ZHANG X Y, REN S Q, et al. Delving deep into rectifiers: surpassing human-level performance on imagenet classification [C]// 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 1026-1034.

[本文引用: 1]

ZHANG M, DIAO M, GUO L M

Convolutional neural networks for automatic cognitive radio waveform recognition

[J]. IEEE Access, 2017, 5 (1): 11074- 11082

[本文引用: 7]

HAO W, BIE R, GUO J, et al

Optimized CNN based image recognition through target region selection

[J]. Optik-International Journal for Light and Electron Optics, 2018, 156 (1): 772- 777

FU L, FENG Y, ELKAMIL T, et al

Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks

[J]. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34 (1): 205- 211

[本文引用: 1]

HINTON G E, SRIVASTAVA N, KRIZHEVSKY A, et al

Improving neural networks by preventing co-adaptation of feature detectors

[J]. Computer Science, 2012, 3 (4): 212- 223

[本文引用: 1]

/