浙江大学学报(工学版)

浙江大学学报(工学版), 2024, 58(11): 2230-2238 doi: 10.3785/j.issn.1008-973X.2024.11.004

计算机技术、控制工程

基于离散余弦变换的快速对抗训练方法

王晓淼,, 张玉金,, 张涛, 田瑾, 吴飞

1. 上海工程技术大学 电子电气工程学院，上海 201620

2. 常熟理工学院 计算机科学与工程学院，江苏 常熟 215500

Fast adversarial training method based on discrete cosine transform

WANG Xiaomiao,, ZHANG Yujin,, ZHANG Tao, TIAN Jin, WU Fei

1. School of Electronic and Electrical Engineering, Shanghai University of Engineering Science, Shanghai 201620, China

2. School of Computer Science and Engineering, Changshu Institute of Technology, Changshu 215500, China

通讯作者: 张玉金，男，副教授，博士. orcid.org/0000-0003-1225-4334. E-mail: yjzhang@sues.edu.cn

收稿日期: 2023-07-3  

基金资助: 国家自然科学基金资助项目（62072057）；上海市自然科学基金资助项目（17ZR1411900）；中国高校产学研创新基金资助项目（2021ZYB01003）.

Received: 2023-07-3  

Fund supported: 国家自然科学基金资助项目（62072057）；上海市自然科学基金资助项目（17ZR1411900）；中国高校产学研创新基金资助项目（2021ZYB01003）.

作者简介 About authors

王晓淼（1999—），女，硕士生，从事对抗攻防的研究.orcid.org/0009-0003-0561-5610.E-mail：m320121342@sues.edu.cn , E-mail：m320121342@sues.edu.cn

摘要

为了提升深度神经网络的鲁棒性，从频域的角度提出基于离散余弦变换（DCT）的快速对抗训练方法. 引入对抗初始化生成模块，根据系统的鲁棒性自适应地生成初始化信息，可以更精准地捕捉到图像特征，有效避免灾难性过拟合. 对样本进行随机谱变换，将样本从空间域变换至频谱域，通过控制频谱显著性提高模型的迁移与泛化能力. 在CIFAR-10与CIFAR-100数据集上验证提出方法的有效性. 实验结果表明，在以ResNet18为目标网络，面对PGD-10攻击时，本文方法在CIFAR-10上的鲁棒精度较现有方法提升了2%~9%，在CIFAR-100上提升了1%~9%. 在面对PGD-20、PGD-50、C&W等其他攻击以及架构更复杂的模型时，均取得了类似的效果. 提出方法在避免灾难性过拟合现象的同时，有效提高了系统的鲁棒性.

关键词： 对抗样本 ; 快速对抗训练 ; 离散余弦变换（DCT） ; 鲁棒性 ; 样本初始化

Abstract

A fast adversarial training method based on discrete cosine transform (DCT) was proposed from the perspective of the frequency domain in order to enhance the robustness of deep neural network. An adversarial initialization generation module was introduced, which adaptively generated initialization information based on the system’s robustness, allowing for more accurate capture of image features and effectively avoiding catastrophic overfitting. Random spectral transformations were applied to the samples, transforming them from the spatial domain to the frequency domain, which improved the model’s transferability and generalization ability by controlling spectral saliency. The effectiveness of the proposed method was validated on the CIFAR-10 and CIFAR-100 datasets. The experimental results show that the robust accuracy of the proposed method on CIFAR-10 improved by 2% to 9% compared to existing methods, and improved by 1% to 9% on CIFAR-100 by using ResNet18 as the target network and facing PGD-10 attacks. Similar effects were achieved when facing PGD-20, PGD-50, C&W and other attacks, as well as when applied to more complex model architectures. The proposed method not only avoids catastrophic overfitting but also effectively enhances system robustness.

Keywords： adversarial example ; fast adversarial training ; discrete cosine transform (DCT) ; robustness ; example initialization

PDF (1747KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

王晓淼, 张玉金, 张涛, 田瑾, 吴飞. 基于离散余弦变换的快速对抗训练方法. 浙江大学学报(工学版)[J], 2024, 58(11): 2230-2238 doi:10.3785/j.issn.1008-973X.2024.11.004

WANG Xiaomiao, ZHANG Yujin, ZHANG Tao, TIAN Jin, WU Fei. Fast adversarial training method based on discrete cosine transform. Journal of Zhejiang University(Engineering Science)[J], 2024, 58(11): 2230-2238 doi:10.3785/j.issn.1008-973X.2024.11.004

深度神经网络在图像识别[1-2]、图像分割[3-4]、自动驾驶[5]等诸多方面取得了显著的进展. 随着深度神经网络模型的不断发展，安全性与鲁棒性问题日益凸显. Szegedy等[6]发现深度神经网络容易受到微小的对抗性扰动影响，这些扰动是专门设计的，旨在欺骗模型使其误分类. 为了应对这一问题，防御算法不断涌现，其中对抗训练(adversarial training, AT)[7]是常用的方法，通过在训练过程中引入对抗样本，提高系统的鲁棒性. 对抗训练可被视为极大极小的优化问题[8]. 该优化问题的内部目标为最大化损失函数以生成对抗样本，外部目标是最小化对抗性损失. 常见的对抗训练方法可以分为多步对抗训练和快速对抗训练. 多步对抗训练一般采用近似求解的方法，常用的方法为投影梯度下降(project gradient descent, PGD)[7]，然而该方法需要进行多次梯度运算，计算成本较高. 相对而言，基于快速梯度符号方法(fast gradient sign method, FGSM)[9]的快速对抗训练在提高系统鲁棒性方面虽不如多步对抗训练，但计算成本较低.

针对上述问题，研究人员开始探索如何运用快速对抗训练来提升系统鲁棒性. 其中，初始化方法成为研究热点. Wong等[10]针对快速对抗训练的过拟合问题提出FGSM-RS模型，结合快速对抗训练与随机初始化，缓解了对抗训练中的过拟合问题. 在此基础上，Andriushchenko等[11]提出正则化的方法，称为FGSM-GA，以应对过拟合问题. Kim等[12]提出FGSM-CKPT模型，通过调整图像尺寸来抑制过拟合. Shafahi等[13]提出Free-AT模型，训练成本几乎与自然训练相当. Sriramanan等[14]使用核范数来优化对抗样本的生成，提出NuAT模型.

此外，对抗训练方法存在的一个关键挑战是目前大多方法主要集中在空间域，即在像素级对图像进行扰动. 该方法在某种程度上忽视了深度神经网络模型在决策过程中对输入图像频率分量的敏感性. 不同模型通常在不同频率分量上有不同的响应，但现有的方法没有充分考虑到这一差异.

本文提出基于离散余弦变换的快速对抗训练方法. 从频域视角出发，可以更好地理解模型的行为，了解它们在决策时对输入图像的不同频率分量的响应. 这一频域视角的提出有助于弥补现有方法的不足，提高对抗训练的性能. 引入自适应初始化生成模块获取对抗初始化信息，有助于避免灾难性过拟合现象.

1. 基本原理

对抗训练可以看作极大极小优化问题，其目标函数为

$ \mathop {\min }\limits_{{\boldsymbol{w}}} {E_{({\boldsymbol{x}},{\boldsymbol{y}})\sim D}}[\mathop {\max }\limits_{{\boldsymbol{\delta}} \in {{\varOmega }}} l ({f_{{{\boldsymbol{w}}}}}({\boldsymbol{x}}+{\boldsymbol{\delta}} ),{\boldsymbol{y}})]. $

式中：$D$表示图像特征概率分布，${{\varOmega }}$为对抗扰动设置，${\boldsymbol{x}}$表示样本，${\boldsymbol{y}}$为对应的标签，${\boldsymbol{\delta}} $为生成的对抗扰动，$f( \cdot )$为目标网络，w为权重矩阵，$ l ({f_{\boldsymbol{w}}}({\boldsymbol{x}}),{\boldsymbol{y}}) $为目标网络的损失函数.

在快速对抗训练方法中，通常采用基于FGSM[9]的对抗训练，生成的对抗扰动可以表示为

$ {\boldsymbol{\delta}} = \varepsilon {\mathrm{sgn}}\;({\nabla _{\boldsymbol{x}}}l (f({\boldsymbol{x}}),{\boldsymbol{y}})). $

式中：${\boldsymbol{\delta}} $为生成的对抗扰动，$\varepsilon $为对抗扰动的强度. 该方法以牺牲模型鲁棒性为代价，有效地减少了运行成本. 此外，该方法可能存在灾难性过拟合的问题.

2. 本文方法

2.1. 模型架构

本文方法主要由初始化生成网络、空-频变换模块、对抗样本生成模块和目标网络4个关键部分组成. 该方法的详细框架如图1所示. 在整个流程中，将干净样本及其梯度信息输入初始化生成网络，生成包含样本信息的对抗初始化信息. 通过空-频变换模块，将对抗初始化信息与干净样本进行融合与转换，实现空间域与频域之间的相互转换. 对抗样本生成模块采用FGSM算法，根据经过空-频变换的信息生成最终的对抗样本. 将对抗样本传入目标网络，开展训练来提高系统的鲁棒性. 在训练过程中，初始化生成模块根据目标网络的鲁棒性不断迭代和更新对抗初始化信息，以适应目标网络的变化. 对于目标网络，采用由权重${{\boldsymbol{w}}}$参数化的卷积神经网络$f( \cdot )$，网络对干净样本${\boldsymbol{x}}$的预测结果为$\hat {\boldsymbol{y}} = f({\boldsymbol{x}})$. 初始化生成网络采用由权重${{\boldsymbol{m}}}$参数化的轻量级生成网络$I( \cdot )$，该网络以干净样本及其梯度信息作为输入.

图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1   基于离散余弦变换的快速对抗训练方法的整体框架图

Fig.1   Framework of fast adversarial training method based on discrete cosine transform


通过以上架构，本文方法在频域视角下提供了新的快速对抗训练方法，使得对抗初始化信息的生成和空-频变换在增强模型鲁棒性方面发挥了关键作用.

2.2. 初始化生成网络

样本初始化生成模块的输入为干净样本及样本的梯度信息，输出为样本的初始化信息. 生成的对抗初始化信息将被用于对抗样本生成模块，参与对抗样本的生成. 为了兼顾网络的运行效率和性能，选择轻量级生成网络作为初始化生成器. 生成网络的结构包含4层，其中第1层和第4层是单一的卷积层和归一化层[15]，第2层由卷积层、归一化层和激活函数组成，激活函数采用ReLU[16]，第3层采用残差模块[17]. 在网络设计中，不同层次采用不同的卷积和滤波器设置. 这种设置可以帮助网络更好地学习特定的特征和信息，以生成更好的对抗性初始化. 使用批量归一化层和ReLU激活函数提高训练的稳定性和收敛性，批量归一化层有助于防止梯度消失和爆炸的问题. ReLU激活函数引入非线性，以便网络可以更好地捕捉图像中的特征. 提出的生成网络生成了与每个样本相关的初始化，这意味着每个输入样本都有与其对应的对抗性初始化，而不是使用随机初始化. 这不仅有利于解决灾难性过拟合问题，而且可以提高对抗性训练的效果. 具体的初始化生成网络架构如图2所示.

图 2

新窗口打开| 下载原图ZIP| 生成PPT

图 2   初始化生成网络的架构图

Fig.2   Detailed structure of initialization generator


生成的初始化信息可以表示为

$ {\boldsymbol{b}} = \varepsilon I({\boldsymbol{x}},{\boldsymbol{t}}). $

式中：${\boldsymbol{b}}$表示生成的对抗初始化；$I( \cdot )$表示初始化生成网络；${\boldsymbol{t}}$为样本的梯度信息， ${\boldsymbol{t}} = {\mathrm{sgn}}{\nabla _{\boldsymbol{x}}}(l (f({\boldsymbol{x}}),{\boldsymbol{y}}))$，其中$l ( \cdot )$为损失函数，本文选取交叉熵损失函数.

设计该网络的最终目的是提高对抗训练的效果，在实际训练中，生成的对抗性初始化、减小计算复杂度、提高训练稳定性及减少过拟合的风险都是十分重要的.

2.3. 空-频变换模块

Wang等[18]的研究表明，模型在做出决策时会根据输入图像的不同频率分量进行判别. 本文绘制频谱显著性特征图，如图3所示，不同模型对不同频率分量的兴趣通常会因模型而异. 频谱显著性图被视为模型损失函数相对于输入图像的频谱的梯度，具体的绘制方法可以描述如下.

图 3

新窗口打开| 下载原图ZIP| 生成PPT

图 3   ResNet18、WideResNet、VGG、PreActResNet18的频谱显著性图

Fig.3   Spectrum saliency maps of ResNet18, WideResNet, VGG, PreActResNet18


采用离散余弦变换，将图像从空间域变换至频域，这一步可以用公式表示为

$ D({{\boldsymbol{x}}_{\boldsymbol{b}}}) = {{\boldsymbol{A}}}{{\boldsymbol{x}}_{\boldsymbol{b}}}{{{\boldsymbol{A}}}^{{\mathrm{T}}}}. $

式中：$D( \cdot )$表示离散余弦变换(DCT)[19]，${{\boldsymbol{A}}}$为正交矩阵，${{\boldsymbol{A}}}{{{\boldsymbol{A}}}^{{\mathrm{T}}}}$为单位矩阵，${\boldsymbol{x}}_{\boldsymbol{b}} $为经过初始化后的${\boldsymbol{x}} $. 一幅图像经过DCT变换后，其主要能量集中在频谱的低频部分，图像的细节信息分布在中高频部分.

采用频谱显著性图，观察不同模型的感兴趣区域，计算公式如下：

$ S = \frac{{\partial l ({D_{\mathrm{I}}}(D({\boldsymbol{x}})),{\boldsymbol{y}})}}{{\partial D({\boldsymbol{x}})}}. $

式中：${D_{\mathrm{I}}}( \cdot )$表示离散余弦反变换(IDCT)，用来将初始样本从频域恢复到空间域，${D_{\mathrm{I}}}(D({{\boldsymbol{x}}_{\boldsymbol{b}}})) = {{{\boldsymbol{A}}}^{{\mathrm{T}}}}D({{\boldsymbol{x}}_{\boldsymbol{b}}}) {{\boldsymbol{A}}} = {{\boldsymbol{x}}_{{{\boldsymbol{b}}}}}$；本文采用交叉熵损失函数. 在整个过程中，DCT和IDCT均是无损的，不会丢失信息.

在实际运行过程中，一般为黑盒设置，无法准确提取频谱显著性图. 为了更加贴合实际情况，提出随机谱变换$R( \cdot )$，通过将矩阵乘法分解为矩阵加法和哈达玛积的形式，结合离散余弦变换与反变换，用下式表示：

$ R({{\boldsymbol{x}}_{\mathrm{b}}}) = {D_{\mathrm{I}}}(D({{\boldsymbol{x}}_{\boldsymbol{b}}}+{\boldsymbol{\eta}} ) \odot {\boldsymbol{U}}). $

式中：${\boldsymbol{\eta }}$为从高斯分布中采样的随机变量，${\boldsymbol{U}}$为从均匀分布中采样的随机变量，$ \odot $表示哈达玛积. 通过调节${\boldsymbol{\eta}} $和${\boldsymbol{U}}$，可以在一定程度上控制频谱显著性，有助于提高模型的迁移能力.

将随机谱变换直接应用于整个图像，在保证提高系统鲁棒性的前提下，提高模型的迁移性，增强模型的泛化能力. 为了说明随机谱变换的有效性，应用Grad-cam[20]来生成整块DCT的热力图和随机谱变换的热力图，具体的频谱图与热力图对比如图4所示. 图中，$ C_{\mathrm{M}} $为相关系数. 从图4可以看出，与整块DCT相比，利用提出的随机谱变换生成的热力图更能匹配出有效区域. 为了保证该模块的效果，在实际应用中可以进行$N$次随机谱变换，取平均值作为最终的输出.

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4   整块DCT和随机谱变换生成的频谱图及其热力图对比

Fig.4   Comparison of whole DCT and random spectrum transformation to generate spectra and their heatmap


2.4. 对抗扰动数学模型

在初始化网络模块、空-频变换模块及FGSM算法的共同作用下，生成的对抗样本可以用下式表示：

$ {\boldsymbol{\delta}} = {\boldsymbol{b}}+\alpha {\mathrm{sgn}}\left(\frac{1}{N}\sum\limits_{i = 1}^N {{\nabla _x} l (f(R({\boldsymbol{x}})+{\boldsymbol{\delta}} ))} \right). $

式中：$\alpha $为步长，$N$为随机谱变换的次数.

根据对抗扰动的定义，可以推导得到每个模块共同学习的目标：当初始化生成网络参数${{\boldsymbol{m}}}$固定时，对抗训练的近似解为式(7)中的$\delta $. 通过寻找更合适的生成网络参数${{\boldsymbol{m}}}$，最大化损失函数，即最大化${{\boldsymbol{m}}}$和${{\boldsymbol{w}}}$所共同学习的损失函数：$\mathop {\max }\limits_{{\boldsymbol{m}}} \;l (f(R({\boldsymbol{x}})+ {\boldsymbol{\delta}} ;{{\boldsymbol{w}}}),{\boldsymbol{y}})$. 联合优化目标函数可以定义为

$ \mathop {\min }\limits_{{\boldsymbol{w}}} {E_{({\boldsymbol{x}},{\boldsymbol{y}})\sim D}}[\mathop {\max }\limits_{{\boldsymbol{m}}}\, l (f(R({\boldsymbol{x}})+{\boldsymbol{\delta}} ),{\boldsymbol{y}})]. $

算法1　基于离散余弦变换的快速对抗训练
输入: 训练次数$ M $、随机谱变换的次数$N$、最大扰动因子$\varepsilon $、步长$\alpha $、干净样本$ {\boldsymbol{x}} $及对应标签$ {\boldsymbol{y}} $、由${{\boldsymbol{w}}}$参数化的目标网络$f( \cdot )$、由${{\boldsymbol{m}}}$参数化的初始化生成网络$I( \cdot )$、随机谱变换函数$R( \cdot )$、离散余弦变换$D( \cdot )$及逆变换${D_{\mathrm{I}}}( \cdot )$、随机变量${\boldsymbol{\eta}} $（服从高斯分布）、随机变量${\boldsymbol{U}}$（服从均匀分布）. ${\mathrm{Fo}}{{\mathrm{r}}_{}}\,i = 1,2,\cdots ,{M_{}}\;{\mathrm{do}}$${\boldsymbol{t}} = {\mathrm{sgn}}{\nabla _{\boldsymbol{x}}}( l (f({\boldsymbol{x}}),{\boldsymbol{y}}))$${\boldsymbol{b}} = I({\boldsymbol{x}},{\boldsymbol{t}})$${{\boldsymbol{x}}_{\boldsymbol{b}}} = {\boldsymbol{x}}+{\boldsymbol{b}}$${\boldsymbol{x}} = R({{\boldsymbol{x}}_{\boldsymbol{b}}}) = {D_{\mathrm{I}}}(D({{\boldsymbol{x}}_{\boldsymbol{b}}}+{\boldsymbol{\eta}} ) \odot {\boldsymbol{U}})$${\boldsymbol{\delta}} = \prod\limits_{{{[ - \varepsilon ,\varepsilon ]}^d}} {{\boldsymbol{b}}+\alpha {\mathrm{sgn}}({N}^{-1} \sum\limits_{i = 1}^N {{\nabla _x} l (f({\boldsymbol{x}}+{\boldsymbol{\delta}} ))} )} $$ {{\boldsymbol{m}}} \leftarrow {{\boldsymbol{m}}}+\nabla l (f({\boldsymbol{x}}+{\boldsymbol{\delta}} ),{\boldsymbol{y}}) $${{\boldsymbol{w}}} \leftarrow {{\boldsymbol{w}}} - \nabla l (f({\boldsymbol{x}}+{\boldsymbol{\delta}} ),{\boldsymbol{y}})$${\mathrm{End}}\;{\mathrm{For}}$

在实际训练过程中，初始化生成网络会根据目标网络的鲁棒性能自动学习和调整生成的初始化信息. 整个优化过程在极大极小的框架下进行，目标网络最小化损失函数以增强模型对对抗样本的鲁棒性，初始化生成网络最大化损失函数以产生有效的对抗初始化信息. 通过交替更新目标网络的参数${{\boldsymbol{w}}}$和初始化生成网络的参数${{\boldsymbol{m}}}$，求解该优化问题. 具体过程如算法1所示.

与标准的对抗训练方法相比，提出的对抗扰动数学模型有几个不同之处. 标准对抗训练中的${\boldsymbol{\delta}} $是需要被优化的变量，而本文将其替换为内部最大化的近似解. 在提出的算法中，${\boldsymbol{\delta }}$可以被视为包含初始化生成网络参数的函数. 通过对初始化生成网络参数应用最大化操作，优化了对抗损失，增强了网络之间的对抗性. 引入随机谱变换函数，通过控制频谱的显著性，进一步增强模型，以达到提高系统鲁棒性的目的.

3. 实验结果与分析

为了评估本文方法的有效性，在CIFAR-10[21]、CIFAR-100[21]数据集上进行广泛的测试. 运用FGSM[9]、PGD-10[7]、PGD-20[7]、PGD-50[7]、C&W[22]5种算法对训练好的模型进行攻击，将实验结果与其他先进方法进行对比分析.

3.1. 实验设置

在数据集处理方面，使用文献[23]的环境设置及其提供的Pytorch实现细节，选取1MDDPM[24]生成的数据集作为实验数据集.

在具体的实验中，选取WideResNet34-10[25]、ResNet18[26]和PreActResNet18[27]作为目标网络，对CIFAR-10和CIFAR-100进行测试. 在训练过程中，将WideResNet34-10作为目标网络时进行了25次训练，将ResNet18和PreActResNet18作为目标网络时训练65次. 将初始学习速率设置为0.1，采用SGD[28]进行优化并设置权重衰减系数为5×10−4. 在初始化生成网络和目标网络更新方面，每隔20次训练就更新一次初始化生成网络. 实验将算法的干净精度和鲁棒精度作为主要的评价指标，干净精度是指模型在正常情况下的准确率，鲁棒精度(即分类对抗样本的准确率)是指模型在受到攻击的情况下抵抗对抗样本的能力.

3.2. 方法对比

为了评估提出方法的可行性，选取一些先进方法进行对比，包括FGSM-RS[10]、FGSM-GA[11]、FGSM-CKPT[12]、Free-AT[12]等方法. 在对比实验中，按照原文中的设置进行训练，选取各方法在相应数据集上的最优结果作为评价指标.

3.2.1. CIFAR-10数据集结果的对比

在以ResNet18作为目标网络的实验中，将所提出的方法与其他先进算法进行对比，比较结果如表1所示. 选取在训练过程中表现最佳的模型，与最后一个模型分别进行对比. 表中，Pclean为干净精度，Probust为鲁棒精度. 从表1可知，所提出的方法在不同攻击方式下均取得了最优的鲁棒精度. 虽然所提出方法的干净精度未达到最优，但表现出良好的性能，实现了鲁棒精度和干净精度之间的平衡. 例如在PGD-10攻击下，所提出方法的鲁棒精度比FGSM-GA[11]方法高2.63%. 在C&W攻击下，相较于Free-AT[12]，本文方法提高了5.23%的性能. 在Auto-Attack攻击下，本文方法的鲁棒精度达到46.42%，比FGSM-CKPT[12]方法高9.27%. 为了说明本文方法的优越性，将对比结果进行可视化，如图5所示. 可知，提出方法的性能较现有的一些方法具有显著的优势. 这主要是由于在对抗样本生成环节中引入了随机谱变换.

表 1   使用ResNet18对CIFAR-10进行测试时的模型鲁棒精度

Tab.1  Test robustness on CIFAR-10 database using ResNet18 %

方法模型PcleanProbust
PGD-10PGD-20PGD-50C&WAuto-Attack
FGSM-RS[10]最好73.8142.3141.5541.2639.8437.07
FGSM-RS[10]最后83.820.090.040.020.000.00
FGSM-CKPT[12]最好90.2941.9639.8439.1541.1337.15
FGSM-CKPT[12]最后90.2941.9639.8439.1541.1337.15
FGSM-GA[11]最好83.9649.2347.5746.8947.4643.45
FGSM-GA[11]最后84.4348.6746.6646.0846.7542.63
Free-AT[12]最好80.3847.1045.8545.6244.4242.17
Free-AT[12]最后80.7545.8244.8244.4843.7341.17
本文方法最好83.3051.8650.6150.1549.6546.42
本文方法最后83.7651.5550.1649.8449.6846.21

新窗口打开| 下载CSV


图 5

新窗口打开| 下载原图ZIP| 生成PPT

图 5   在不同攻击方式下ResNet18在CIFAR-10上的鲁棒精度对比

Fig.5   Comparison of robustness accuracy of ResNet18 on CIFAR-10 under different attack method


在同样的参数设置下，将目标网络更换为网络结构更复杂的WideResNet34-10. 如表2所示为该框架下所提出的方法与其他方法的对比结果. 在不同的攻击方式下，本文方法展现出了更优的性能. 在PGD-10的攻击下，相比Free-AT[12]，本文方法的鲁棒性提高了1.98%. 在C&W攻击下，本文方法的鲁棒精度比FGSM-GA[11]方法高2.19%. 在更具挑战性的Auto-Attack攻击下，与FGSM-GA[11]相比，鲁棒精度均达到45%左右.

表 2   使用WideResNet34-10对CIFAR-10进行测试时的模型鲁棒精度

Tab.2  Test robustness on CIFAR-10 database using WideResNet34-10 %

方法PcleanProbust
PGD-10PGD-20PGD-50C&WAuto-Attack
FGSM-RS[10]74.2941.2440.2139.9839.2736.40
FGSM-CKPT[12]91.8444.7042.7242.2242.2540.46
FGSM-GA[11]81.8048.2047.9746.6046.8745.19
Free-AT[12]81.8349.0748.1747.8347.2544.77
本文方法83.5451.0549.6649.2149.0644.76

新窗口打开| 下载CSV


为了研究本文方法在不同攻击下的表现，对训练过程中该方法的鲁棒精度变化趋势进行可视化，如图6所示. 图中，$N_{\mathrm{i}} $为迭代次数. 从图6可以看出，在整个训练过程中，鲁棒精度稳步提升，当调整学习速率时有显著提升，未出现过拟合现象，说明该方法可以有效解决快速对抗训练中的灾难性过拟合问题，证明了提出方法的有效性. 为了验证该现象具有普适性，在PreActNet18框架下绘制了该方法在面对不同攻击时鲁棒精度的变化趋势，如图7所示. 在不同的网络架构下，鲁棒精度的变化趋势与更复杂的网络WideResNet34-10框架下的趋势保持一致，表明所提方法具有普适性和有效性.

图 6

新窗口打开| 下载原图ZIP| 生成PPT

图 6   WideResNet34-10框架下不同攻击方法在训练过程中的鲁棒精度变化趋势

Fig.6   Robustness trend of different attack method during training in WideResNet34-10 framework


图 7

新窗口打开| 下载原图ZIP| 生成PPT

图 7   PreActResNet18框架下不同攻击方法在训练过程中的鲁棒精度变化趋势

Fig.7   Robustness trend of different attack method during training in PreActResNet18


3.2.2. CIFAR-100数据集上的结果对比

在ResNet18框架下，将所提出的方法与其他先进算法进行比较，比较结果如表3所示. 在更复杂的数据集上，本文方法展现出了优越的性能. 在PGD-20攻击下，所提方法的鲁棒性比Free-AT[12]提高了1.7%. 在C&W攻击下，比FGSM-RS[10]提高了3.52%. 在Auto-Attack攻击下与Free-AT[12]表现相当，均取得了19%以上的鲁棒性，具体的对比结果如图8所示.

表 3   使用ResNet18对CIFAR-100进行测试时的模型鲁棒精度

Tab.3  Test robustness on CIFAR-100 database using ResNet18 %

方法模型PcleanProbust
PGD-10PGD-20PGD-50C&WAuto-Attack
FGSM-RS[10]最好49.8522.4722.0121.8220.5518.29
FGSM-RS[10]最后60.550.250.190.250.000.00
FGSM-CKPT[12]最好60.9316.5815.4715.1916.4014.17
FGSM-CKPT[12]最后60.9316.6915.6115.2416.6014.34
FGSM-GA[11]最好54.3522.9322.3622.2021.2018.80
FGSM-GA[11]最后55.1020.0419.1318.8418.9616.45
Free-AT[12]最好52.4924.0723.5223.3621.6619.47
Free-AT[12]最后52.6322.8622.3222.1620.6818.57
本文方法最好53.7725.9225.2224.8224.0719.28
本文方法最后54.0825.9125.0024.6723.8219.16

新窗口打开| 下载CSV


图 8

新窗口打开| 下载原图ZIP| 生成PPT

图 8   在不同攻击方式下ResNet18在CIFAR-100上的鲁棒精度对比

Fig.8   Comparison of robustness accuracy of ResNet18 on CIFAR-100 under different attack method


在该框架下，分析面对不同攻击时鲁棒精度的变换趋势，结果如图9所示. 提出方法的优越性如下. 1）采用初始化生成网络获取样本的初始化信息，可以获得更多的样本信息，在避免过拟合的同时，有效地提高系统鲁棒性. 2）受到模型依据输入图像的不同频率分量进行判别的启发，在对抗样本生成过程中引入多次随机谱变换，将样本从空间域变换至频域，提高了对抗样本的可转移性.

图 9

新窗口打开| 下载原图ZIP| 生成PPT

图 9   ResNet18框架下不同攻击方法在训练过程中的鲁棒精度变化趋势

Fig.9   Robustness trends of different attack methods during training in ResNet18 framework


3.3. 性能分析

CIFAR-10和CIFAR-100数据集上的结果验证了所提出方法的有效性. 为了评估该方法的稳健性，将该方法与FGSM-CKPT[12]、FGSM-RS[10]方法的损失景观图进行对比. 图10中，$ \theta $为随机扰动，Loss为损失. 如图10所示，沿对抗方向和随机方向绘制空间变化的交叉熵损失. 与FGSM-CKPT相比，本文提出的方法更加线性，与FGSM-RS相比在线性度上未有明显差距，但具有更小的损失，这表明所提出的方法能够更好地拟合数据. 总之，使用该方法生成的对抗扰动可以更好地保持目标模型的局部线性性质. 利用所提出的方法，可以提高快速对抗训练模型的鲁棒性.

图 10

新窗口打开| 下载原图ZIP| 生成PPT

图 10   FGSM-CKPT、FGSM-RS和所提方法的交叉熵损失景观图对比

Fig.10   Comparison of cross-entropy loss landscape of FGSM-CKPT, FGSM-RS and proposed method


4. 结　语

本文提出基于离散余弦变换的快速对抗训练方法. 该方法通过引入初始化生成器和多次随机谱变换生成对抗样本，从频率域的角度研究提升系统鲁棒性的方法. 与现有方法的不同之处如下. 1）本文所生成的初始化信息是基于样本及其梯度信息生成的. 2）在训练过程中，通过多次随机谱变换，将样本从空间域变换到频率域，关注输入图像的不同频率分量，从而模拟攻击并生成对抗样本，提高了模型的迁移能力. 经过多次对比实验验证，所提出的方法在避免灾难性过拟合现象的同时，提高了系统的鲁棒性. 该方法在鲁棒精度和干净精度之间实现了平衡，减小了与多步对抗训练方法之间的差距. 这项研究为深度神经网络的鲁棒性问题提供新颖的解决思路，通过引入频域的概念，有效地增强了模型的抵抗能力. 未来的工作可以进一步探索不同的频谱显著性策略，提升系统的迁移能力和鲁棒性. 此外，可以考虑将该方法应用于其他领域，如自然语言处理、语音识别和多媒体内容安全等，验证该方法在不同任务中的通用性和效果.

参考文献

金鑫, 庄建军, 徐子恒

轻量化YOLOv5s网络车底危险物识别算法

[J]. 浙江大学学报: 工学版, 2023, 57 (8): 1516- 1526

[本文引用: 1]

JIN Xin, ZHUANG Jianjun, XU Ziheng

Lightweight YOLOv5s network-based algorithm for identifying hazardous objects under vehicles

[J]. Journal of Zhejiang University: Engineering Science, 2023, 57 (8): 1516- 1526

[本文引用: 1]

熊帆, 陈田, 卞佰成, 等

基于卷积循环神经网络的芯片表面字符识别

[J]. 浙江大学学报: 工学版, 2023, 57 (5): 948- 956

[本文引用: 1]

XIONG Fan, CHEN Tian, BIAN Baicheng, et al

Chip surface character recognition based on convolutional recurrent neural network

[J]. Journal of Zhejiang University: Engineering Science, 2023, 57 (5): 948- 956

[本文引用: 1]

刘春娟, 乔泽, 闫浩文, 等

基于多尺度互注意力的遥感图像语义分割网络

[J]. 浙江大学学报: 工学版, 2023, 57 (7): 1335- 1344

[本文引用: 1]

LIU Chunjuan, QIAO Ze, YAN Haowen, et al

Semantic segmentation network for remote sensing image based on multi-scale mutual attention

[J]. Journal of Zhejiang University: Engineering Science, 2023, 57 (7): 1335- 1344

[本文引用: 1]

杨长春, 叶赞挺, 刘半藤, 等

基于多源信息融合的医学图像分割方法

[J]. 浙江大学学报: 工学版, 2023, 57 (2): 226- 234

[本文引用: 1]

YANG Changchun, YE Zanting, LIU Banteng, et al

Medical image segmentation method based on multi-source information fusion

[J]. Journal of Zhejiang University: Engineering Science, 2023, 57 (2): 226- 234

[本文引用: 1]

宋秀兰, 董兆航, 单杭冠, 等

基于时空融合的多头注意力车辆轨迹预测

[J]. 浙江大学学报: 工学版, 2023, 57 (8): 1636- 1643

[本文引用: 1]

SONG Xiulan, DONG Zhaohang, SHAN Hangguan, et al

Vehicle trajectory prediction based on temporal-spatial multi-head attention mechanism

[J]. Journal of Zhejiang University: Engineering Science, 2023, 57 (8): 1636- 1643

[本文引用: 1]

SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks [C]// 2nd International Conference on Learning Representations. Banff: [s. n. ], 2014.

[本文引用: 1]

MADRY A, MAKELOV A, SCHMIDT L, et al. Towards deep learning models resistant to adversarial attacks [C]// International Conference on Learning Representations. Vancouver: [s. n.], 2018.

[本文引用: 5]

WANG Y, MA X, BAILEY J, et al. On the convergence and robustness of adversarial training [C]// International Conference on Machine Learning . Long Beach: International Machine Learning Society, 2019: 6586-6595.

[本文引用: 1]

GOODFELLOW J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples [C]// International Conference on Learning Representation . San Diego: [s. n.], 2015.

[本文引用: 3]

WONG E, RICE L, KOLTER J. Z. Fast is better than free: revisiting adversarial training [C]// International Conference on Learning Representations . Addis Ababa, Ethiopia: [s. n.], 2020.

[本文引用: 9]

ANDRIUSHCHENKO M, FLAMMARION N. Understanding and improving fast adversarial training [C]// Neural Information Processing Systems . [S. l. ]: Curran Associates, Inc, 2020: 16048-16059.

[本文引用: 10]

KIM H, LEE W, LEE J. Understanding catastrophic overfitting in single-step adversarial training [C]// Proceedings of the AAAI Conference on Artificial Intelligence . Vancouver: AAAI Press, 2021: 8119-8127.

[本文引用: 19]

SHAFAHI A, NAJIBI M, GHIASI A, et al. Adversarial training for free! [C]// Neural Information Processing Systems . Vancouver: Curran Associates, Inc. , 2019: 3353-3364.

[本文引用: 1]

SRIRAMANAN G, ADDEPALLI S, BABURAJ A, et al. Towards efficient and effective adversarial training [C]// Neural Information Processing Systems . [S. l. ]: Curran Associates, Inc. , 2021: 11821-11833.

[本文引用: 1]

IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift [C]// International Conference on Machine Learning . Lille: MIT Press, 2015: 448-456.

[本文引用: 1]

AGARAP F. Deep learning using rectified linear units (ReLU) [EB/OL]. [2023-06-20]. https://arxiv.org/abs/1803.08375.

[本文引用: 1]

MIYATO T, KATAOKA T, KOYAMAM M, et al. Spectral normalization for generative adversarial networks [C]// International Conference on Learning Representations . Vancouver: [s. n. ], 2018.

[本文引用: 1]

WANG H, WU X, HUANG Z, et al. High-frequency component helps explain the generalization of convolutional neural networks [C]// IEEE Conference on Computer Vision and Pattern Recognition . Seattle: IEEE, 2020: 8681–8691.

[本文引用: 1]

AHMED N, NATARAJAN T, RAO K

R. Discrete cosine transform

[J]. IEEE Transactions on Computers, 1974, 23 (1): 90- 93

[本文引用: 1]

SELVARAJU R. R. COGSWELL M, DAS A, et al. Grad-CAM: visual explanations from deep networks via gradient-based localization [C]// IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 618-626.

[本文引用: 1]

KRIZHEVSKY A, HINTON G. Learning multiple layers of features from tiny images [D]. Toronto: University of Toronto, 2009.

[本文引用: 2]

CARLINI N, WAGNER D. A. Towards evaluating the robustness of neural networks [C]// IEEE Symposium on Security and Privacy . San Jose: IEEE, 2017: 39–57.

[本文引用: 1]

REBUFFI S A, GOWAL S, CALIAN D A, et al. Fixing data augmentation to improve adversarial robustness [EB/OL]. [2023-06-20]. https://arxiv.org/abs/2103.01946.

[本文引用: 1]

HO J, JAIN A, ABBEEL P. Denoising diffusion probabilistic models [C]// Advances in Neural Information Processing Systems . [S. l. ]: Curran Associates, Inc. , 2020: 6840-6851.

[本文引用: 1]

ZAGORUYKO S, KOMODAKIS N. Wide residual networks [C]// Proceedings of the British Machine Vision Conference . York: BMVA Press, 2016: 87.1-87.12.

[本文引用: 1]

HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas: IEEE Computer Society, 2016: 770–778.

[本文引用: 1]

HE K, ZHANG X, REN S, et al. Identity mappings in deep residual networks [C]// European Conference on Computer Vision . Amsterdam: Springer Verlag, 2016: 630–645.

[本文引用: 1]

QIAN N

On the momentum term in gradient descent learning algorithms

[J]. Neural Networks, 1999, 12 (1): 145- 151

DOI:10.1016/S0893-6080(98)00116-6      [本文引用: 1]

/

〈 〉