迁移学习可以用来改善机器学习领域中跨域任务上的模型性能^[1]，当目标域标签样本较少且质量不高时，可以使用包含大量标签数据的源域作为辅助信息去训练泛化能力较强的分类器. 迁移学习存在一大障碍——域间差异，域适应可以有效地缓解这一障碍. 域适应即缩小域间数据的分布差异，将源域分类器更好地推广到目标域，它可以应用在一维文本、二维图像、三维视频等方面. 大多数研究集中在二维图像领域（图像分类、目标检测、语义分割），因此本文所提出的方法重点围绕二维图像分类展开. 将域适应运用到图像分类时，按照源域个数，可以将域适应分为单源域适应和多源域适应.

在单源无监督域适应中，通过学习源和目标的域不变特征，将含有标签信息的单个源域分类器推广到无标签信息的目标域. 在单源的图像分类中，现有的域适应方法^[2-6]大多获得了不错的分类精度. 在现实场景下的图像分类中，找到唯一适合的源域进行迁移是困难的，通常需要访问多个源域.

多源无监督域适应指通过学习多个源域的标签知识，得到关于目标域的标签信息. 目前，多数方法是将对抗思想引入多源图像分类中^[7-9]，有效地减少域间差异，提高分类精度. Xu等^[7]提出深度网络，对抗多个源域之间的领域和类别迁移. Peng等^[10]通过对齐每对源域和目标域，实现目标域中图像的分类^[10-12]. Peng等^[10]旨在通过动态调整特征分布矩，将从多个源域学习到的图像特征的标签迁移到未标记目标域. 最新的思想是结合联邦学习与域自适应，解决图像处理问题. Peng等^[13]提出联邦域自适应方法，它旨在将不同源节点学习到的特征表示与目标节点的特征表示对齐. 尽管上述方法都在多源图像分类场景下取得了不菲的成果, 但是他们忽略了对无标签样本进行有效的学习，这可能会错过有关图像分类特征的重要信息. 此外, 他们没有对多源下类别不均衡的情况进行有效的分析.

本文提出基于自监督任务的多源无监督域适应法. 主要贡献如下.

1) 为了解决多源域聚合下提取域不变特征时较困难的问题, 本文提出基于自监督任务的多源无监督域适应新框架. 该框架包括公共特征提取器、自监督辅助任务、源域分类器3个部分. 在公共特征提取的基础上, 引入旋转、水平翻转和位置预测等自监督辅助任务, 充分挖掘无标签数据的内在信息, 以期在伪标签作用下实现无标签数据的对齐. 对有标签数据训练多源域分类器, 进行边界决策优化, 以减少各域公共类别分类的差异, 提高分类精度.

2) 为了对自监督任务训练以及源域分类器进行优化, 提出新的优化损失函数. 将噪声对比估计引入到多源场景中, 保持语义信息的一致性. 设置决策边界优化 函数，有效减少多分类器下的分类差异.

3)为了解决类别不均衡造成分类精度不高的问题, 基于少样本大权重的原则, 设置动态权重参数，有效平衡了样本，提高了目标域分类器的泛化能力.

机器学习中基本的学习方法有监督学习、半监督学习和无监督学习. 这3种学习方法最大的区别是模型在训练时是否需要人工标注的标签信息. 在监督学习中，含有大量标签信息的样本被用来训练网络模型，使其能够学习输入、输出之间标签的相关性. 在半监督学习中，通过使用大量的无标签样本和少量标签样本对网络进行训练. 在无监督学习中，样本均不含有标签，为了获得样本标签，需要大量的人力对数据进行标记，这是既耗时又昂贵的过程. 当使用无监督学习时, 模型利用没有标记的样本进行训练，在训练过程中能够对图像分类本身有很大的帮助，可以包含更多的语义特征，自监督学习因此被提出.

自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，可以学习到更多的语义特征. 给灰度图像上色^[14-16], 将图像分块并根据中心一块去预测位置^[17-18]，提出对破坏的图像进行分类^[19]、图像旋转^[20]、图像修复^[21]等大量的辅助任务，不断应用于二维图像处理. 在现实场景中，大多数方法没有利用自监督任务去解决多源无监督的问题. 为了解决域间数据分布差异造成迁移性能较差的问题, 在无标签数据上同时进行多个自监督辅助任务. 为了保持模型的高效性和分类的准确率，选择较易实现和高性能的3个自监督任务.

1）旋转预测：输入二维图像，每个图像进行旋转（0°、90°、180°和270°）；任务是预测图像的旋转角度.

2）翻转预测：对二维图像进行水平翻转；任务是预测图像是否翻转.

3）位置预测：从二维图像中随机裁剪出一块补丁；任务是预测补丁位置.

在训练过程中, 数据须进行多个自监督任务. 为了能够对最终的目标域分类任务起促进作用，在源域和目标域上同时使用多个自监督任务，使它们具有更好的对齐效果, 不使用或使用较少的自监督任务不能达到理想的效果, 如图1所示. 图中, 实线为源域, 虚线为目标域, 黑色实线为分类器.

在多源无监督域自适应的场景中, 将多个带有标签信息的源域数据表示为 $D_{\rm{s}}^j = \{ {\boldsymbol{x}}_{i,j}^{\rm{s}},{\boldsymbol{y}}_{i,j}^{\rm{s}}\}$，其中的无标签信息的数据可以表示为 $\bar{\boldsymbol{D}}_{\rm{s}}^j = \left\{ \bar{\boldsymbol{x}}_{i,j}^{\rm{s}} \right\}$. 目标域中的无标签数据表示为D_t={x_t}；源域和目标域中的无标签数据定义为 $D_{\rm{u}}^j = \left\{ {\bar {\boldsymbol{x}}_{i,j}^{\rm{s}}} \right\} \cup \left\{ {{{\boldsymbol{x}}_{\rm{t}}}} \right\} = \left\{ {\boldsymbol{x}}_{i,j}^{\rm{u}}\right\}$. 公共特征提取器表示为F. 为了能够提取到更高质量的语义特征, 使用3个自监督任务: 旋转R、水平翻转F和位置预测L. 将经过各自监督任务转换 ${t}_k^j $后的源域和目标域数据分别表示为

(1) $ {T}_{k,{\rm{s}}}^{j} = \left\{ {{t}_k^j\left( {\bar {\boldsymbol{x}}_{i,j}^{\rm{s}}} \right),{\boldsymbol{y}}_i^j} \right\} , $

(2) $ {T}_{k,{\rm{t}}}^{j} = \left\{ {{t}_k^j\left( {{{\boldsymbol{x}}_{\rm{t}}}} \right),{\boldsymbol{y}}_i^j} \right\} . $

式中：k指3个自监督任务, ${\boldsymbol{y}}_i^j$表示样本经过自监督任务以后所得到的伪标签.

本文的整体框架如图2所示. 该框架具体是选取一个批次（batch）的源域标签数据，通过公共特征提取器进行各源域分类器训练. 选取相同批次（batch）的源域和目标域无标签数据，通过公共特征提取器之后进行自监督任务训练，使域之间能够对齐, 将源域分类器更好地推广到目标域. 将各源域分类边界进行优化后, 输出各分类器的最优结果，得到目标域的最终输出.

在训练源域分类器时，将从公共特征提取器得到的各源域标签样本特征送入特定的线性层 $\varPhi _{\rm{s}}^j $，进行分类训练. 分类损失可以表示为

(3) $ {\ell _{{\rm{cls}}}}\left( {D_{\rm{s}}^j;F\left( {{\boldsymbol{x}}_{i,j}^{\rm{s}}} \right),\varPhi _{\rm{s}}^j} \right) = \sum\limits_{\left\{ {{\boldsymbol{x}}_{i,j}^{\rm{s}},{\boldsymbol{y}}_{i,j}^{\rm{s}}} \right\} \in D_{\rm{s}}^j} {L_{\rm{s}}^j} \left( {\varPhi _{\rm{s}}^j\left( {F\left( {{\boldsymbol{x}}_{i,j}^{\rm{s}}} \right)} \right),{\boldsymbol{y}}_{i,j}^{\rm{s}}} \right) . $

为了使特征包含更多的语义信息，对齐域间特征分布并使得差异最小化，使用图像旋转、水平翻转、位置预测3个辅助自监督任务. 在每个自监督任务训练中，对源域和目标域的伪标签分类损失优化，保证2个域间的无标签数据能够沿着任务相关方向对齐. 2个损失函数分别表示为

(4) $ {\ell _{\rm{s}}}\left( {{t}_k^j\left( {\bar {\boldsymbol{x}}_{i,j}^{\rm{s}}} \right);F,\varPhi _k^j} \right) = \sum\limits_{\left\{ {{t}_k^j\left( {\bar {\boldsymbol{x}}_{i,j}^{\rm{s}}} \right),{\boldsymbol{y}}_i^j} \right\} \in T_{k,{\rm{s}}}^{j}} {L_{k,j}^{\rm{s}}} \left( {\varPhi _k^j\left( {{t}_k^j\left( {\bar {\boldsymbol{x}}_{i,j}^{\rm{s}}} \right)} \right),{\boldsymbol{y}}_i^j} \right) . $

(5) $ {\ell _{\rm{t}}}\left( {{t}_k^j\left( {{{\boldsymbol{x}}_{\rm{t}}}} \right);F,\varPhi _k^j} \right) = \sum\limits_{\left\{ {{t}_k^j\left( {{{\boldsymbol{x}}_{\rm{t}}}} \right),{\boldsymbol{y}}_i^j} \right\} \in T_{k,{\rm{t}}}^{j}} {L_{k,j}^{\rm{t}}} \left( {\varPhi _k^j\left( {{t}_k^j\left( {{{\boldsymbol{x}}_{\rm{t}}}} \right)} \right),{\boldsymbol{y}}_i^j} \right) . $

在自监督任务训练中，每对源域和目标域的自监督任务对齐损失函数可以表示为

(6) $ \begin{split} & {\ell _{{\rm{s , t}}}}\left( {{t}_k^j\left( {\bar {{\boldsymbol{x}}}_{i,j}^{\rm{s}}} \right),{t}_k^j\left( {{{\boldsymbol{x}}_{\rm{t}}}} \right);F,\varPhi _k^j} \right) = \\ & \sum\limits_{\left\{ {{t}_k^j\left( {\bar {\boldsymbol{x}}_{i,j}^{\rm{s}}} \right),{\boldsymbol{y}}_i^j} \right\} \in T_{k,{\rm{s}}}^j} {L_{k,j}^{\rm{s}}} \left( {\varPhi _k^j\left( {{t}_k^j\left( {\bar {\boldsymbol{x}}_{i,j}^{\rm{s}}} \right)} \right),{\boldsymbol{y}}_i^j} \right) + \\ & \sum\limits_{\left\{ {{t}_k^j\left( {{{\boldsymbol{x}}_{\rm{t}}}} \right),{\boldsymbol{y}}_i^j} \right\} \in {T}_{k,{\rm{t}}}^{j}} {L_{k,j}^{\rm{t}}} \left( {\varPhi _k^j\left( {{t}_k^j\left( {{{\boldsymbol{x}}_{\rm{t}}}} \right)} \right),{\boldsymbol{y}}_i^j} \right) . \end{split}$

式中： $\varPhi _k^j $表示第k个自监督任务的线性层.

样本进行自监督任务训练的目的是无标签数据通过辅助任务学习有意义的图像语义信息. 这种信息应该是一致的, 但是许多辅助任务会导致原信息与转换后的信息不同. 为了鼓励转换前、后语义信息的一致性，保护相应的语义信息，受Misra等^[22]的启发，采用噪声对比估计作为语义一致损失，对自监督任务进行优化. 自监督任务语义一致原理如图3所示.

将原始图像的特征表示为F( ${\boldsymbol{x}}_{i,j}^{\rm{u}} $)，转换后的图像特征表示为F( ${t}_k^j ({\boldsymbol{x}}_{i,j}^{\rm{u}}))$ ，将一组样本中除去原始图像的其他图像视为负样本并表示为F( ${\boldsymbol{x}}_{i,j}^{\rm{o}} $)，则噪声对比估计器的概率建模可以表示为

(7) $ h(F({\boldsymbol{x}}_{i,j}^{\rm{u}}),F(t_k^j({\boldsymbol{x}}_{i,j}^{\rm{u}}))) = \frac{{\exp \;\left[ {\dfrac{{s\left( {F\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right),F\left( {t_k^j\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right)} \right)} \right)}}{\tau }} \right]}}{{\exp \;\left[ {\dfrac{{s\left( {F\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right),F\left( {t_k^j\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right)} \right)} \right)}}{\tau }} \right] + \displaystyle\sum\limits_{{\boldsymbol{x}}_{i,j}^{\rm{o}} \in {D_{\rm{N}}}} {\exp \;\left[ {\dfrac{{s\left( {F\left( {t_k^j\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right)} \right),F\left( {{\boldsymbol{x}}_{i,j}^{\rm{o}}} \right)} \right)}}{\tau }} \right]} }}. $

式中：s为测量2个特征表示之间的余弦相似性, τ为温度参数, D_N为负样本集.

在训练过程中，自监督任务语义一致损失可以表示为

(8) $ \begin{split} &{\ell _{{\rm{NCE}}}}\left( {F\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right),F\left( {t_k^j\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right)} \right)} \right) = \\ & - \lg \; \left[ {h\left( {{\varPhi _{\rm{u}}}\left( {F\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right)} \right),{\varPhi _{\rm{t}}}\left( {t_k^j\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right)} \right)} \right)} \right] - \\ & \sum\limits_{{\boldsymbol{x}}_{i,j}^{\rm{o}} \in {D_{\rm{N}}}} {\lg \; \left[ {1 - h\left( {{\varPhi _{\rm{t}}}\left( {F\left( {t_k^j\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right)} \right)} \right),{\varPhi _{\rm{o}}}\left( {F\left( {{\boldsymbol{x}}_{i,j}^{\rm{o}}} \right)} \right)} \right)} \right]} . \end{split}$

式中：ɸ_u为原始图像的线性层, ɸ_t为自监督任务转换后图像的线性层, ɸ_o为负样本的线性层.

各源域决策边界附近的目标样本更有可能被从源样本中学习的分类器错误分类, 由于分类器是在不同的源域上训练的, 它们在目标样本的预测上可能存在误差, 但事实上不同分类器预测的相同目标样本应该得到相同的预测. 为了减小分类差异，需要最小化所有分类器之间的差异. 域间差异损失可以表示为

(9) $ \begin{split} &{\ell }_{{\rm{op}}}({\boldsymbol{x}}\text{；}F,{\varPhi }_{i},{\varPhi }_{j})= \frac{2}{{N\left( {N - 1} \right)}} \times \\\sum\limits_{a = 1}^N {\sum\limits_{j = a + 1}^N {} } &{\left\| {\frac{1}{m}\sum\limits_{{\boldsymbol{x}} \in D_{\rm{s}}^j} {{\varPhi _a}\left( {F\left( {\boldsymbol{x}} \right)} \right) - \frac{1}{n}\sum\limits_{{\boldsymbol{x}} \in D_{\rm{s}}^j} {{\varPhi _j}\left( {F\left( {\boldsymbol{x}} \right)} \right)} } } \right\|_2} . \end{split}$

式中：n为源域a的标签数据数量, m为源域j的标签数据数量, N为源域的个数.

现有的多源域自适应方法对于类别不均衡场景下的迁移讨论较少，训练所得的模型易忽略样本较少的类别，导致测试数据集上得到的目标域分类器泛化性能较差而影响分类精度. 基于少样本大权重的原则，提出动态样本权重参数的设置，可以达到平衡样本的效果，提高模型的迁移性能. 权重设置的原理如图4所示. 权重参数的公式可以表示为

(10) $ {\omega _i} = n'/n_i . $

式中：n′为所有源域内样本类别数目的中值, n_i为一个域内每个类别样本的数量.

使用的总体损失函数框架如图5所示.

类别均衡下，当每对源域和目标域进行对齐优化时，总的损失函数包括：源分类损失、自监督任务对齐损失、自监督任务语义一致损失和域间差异损失（每对源域和目标域训练期间使用的损失函数相同）. 总体损失函数可以表示为

(11) $ \begin{split} &{\ell _{{\rm{all}}}} = \min \;\left\{{\ell _{{\rm{cls}}}}\left( {D_{\rm{s}}^j;F\left( {{\boldsymbol{x}}_{i,j}^{\rm{s}}} \right),\varPhi _{\rm{s}}^j} \right) + \right. \\ &{\ell _{{\rm{s , t}}}}\left( {{t_k}\left( {\bar {\boldsymbol{x}}_i^{\rm{s}}} \right);F,\varPhi _k^j} \right) + {\ell _{{\rm{op}}}}\left( {{\boldsymbol{x}};F,{\varPhi _a},{\varPhi _j}} \right) + \\ & \left. {\ell _{{\rm{NCE}}}}\left( {F\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right),F\left( {{t_k}\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right)} \right)} \right) \right\} . \end{split}$

式中：a、j表示不同的源域.

类别不均衡下，为了有效平衡样本，在每对源域和目标域的训练过程中，添加权重参数以提高分类精度. 权重参数体现在每一个损失函数中，总体损失函数可以表示为

(12) $\begin{split} &{\ell _{{\rm{all}}}} = \min \;\left\{{\omega _i}{\ell _{{\rm{cls}}}}\left( {D_{\rm{s}}^j;F\left( {{\boldsymbol{x}}_{i,j}^{\rm{s}}} \right),\varPhi _{\rm{s}}^j} \right) + \right. \\ &{\omega _i}{\ell _{{\rm{s , t}}}}\left( {{t_k}\left( {\bar {\boldsymbol{x}}_i^{\rm{s}}} \right);F,\varPhi _k^j} \right) + {\omega _i}{\ell _{{\rm{op}}}}\left( {{\boldsymbol{x}};F,{\varPhi _a},{\varPhi _j}} \right) + \\ & \left. {\omega _i}{\ell _{{\rm{NCE}}}}\left( {F\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right),F\left( {{t_k}\left( {{\boldsymbol{x}}_{i,j}^{\rm{u}}} \right)} \right)} \right) \right\} . \end{split}$

实验数据: 采用Office-31数据集和Office-Caltech10数据集，验证所提模型的性能. 数据集样本实例如图6所示.

Office-31: 包括从3个不同领域收集的4 110幅图像, 分别是Amazon、Webcam和Dslr, 每个域均由31个类别组成, 分别包含2 817、795和498幅图像. 将3个域分别标记为A、W、D, 任意选其中2个为源域、1个为目标域进行实验. 为了实现无偏评估, 评估了所有3个迁移任务: AW-D，AD-W，DW-A.

Office-Caltech10：包含2 533张图片，分别有4个不同的领域：Amazon、Dslr、Webcam和Caltech，每个域由10个类别组成，分别包含958、157、295和1 123张图片. 将4个域分别标记为A、D、W和C, 任选其中3个为源域、1个为目标域进行实验. 为了实现无偏评估, 评估了所有4个迁移任务：ACW-D，ADC-W，DWC-A，AWD-C.

实验设置: 实验中使用Torch框架，利用ResNet提取图像特征，输入的图像大小均为224×224像素. 采用Adam优化器，一阶矩估计的指数衰减率β₁设定为0.9，二阶矩估计的指数衰减率β₂设定为0.999. 所有网络模型的权重采用xavier初始化. 在3种自监督任务训练的过程中，使用的初始学习率均为0.1.

从3个部分对模型性能进行分析. 1）与现有的主流方法进行分类精度对比分析. 在Office-31数据集中，从单源迁移、多源组合和多源迁移3个标准下与DAN^[2]、ADDA^[3]、RevGard^[4]、JAN^[5]、MCD^[6]、DCTN^[7]、MDAN^[8]、MDDA^[11]和M³SDA^[10]等方法进行比较. 在Office-Caltech10数据集中，从多源组合和多源迁移2个标准下与DAN^[2]、DCTN^[7]、FADA^[13]和M³SDA^[10]等方法进行比较. 2）分析各部分损失函数对模型性能的影响. 为了对比差异更清晰，Office-31数据集取4个类别中的样本，Office-Caltech10数据集取3个类别中的样本，分别对域间差异损失、自监督任务训练、自监督任务损失及自监督任务语义一致损失重点分析. 3）在类别不均衡的条件下，保持2）中的样本类别个数，对每个类别中的样本量进行删改，对设置动态权重参数前、后的分类精度进行对比分析.

为了验证所提模型的有效性，在Office-31和Office-Caltech10 2种数据集中与现有的主流方法在分类精度方面进行对比分析，实验结果如表1、2所示. 表中，A为分类精度，单源迁移指将单个源域的知识迁移到目标域，源域组合指的是将多个源域混合到一起向目标域进行迁移，多源迁移是现有的主流方法. 从表1、2可以看出，在几个标准中，单源迁移的精度最低，这是由于从单个源域中只能提取到有限的标签信息. 源域组合时，由于多个源域分布的差异不同，导致公共特征提取困难，造成迁移性能不高. 多源迁移的分类性能最高，其中本文方法取得了较好的分类结果.

在Office-31数据集中，W域与D域有较大的相似性，但它们与A域的差异性较大，因此前2组任务精度较高，第3组任务的分类性能较差. 本文方法在3组任务中精度有所提高，表明在自监督任务训练中，模型所获得的特征具有更高级的语义信息，为下一步域间对齐提供了有效的辅助信息.

在Office-Caltech10数据集中，W域、D域的样本量较少，A域、C域的样本量较多，样本量较多的域向样本量较少的域迁移时的准确率相对较高，故各个域向A域、C域迁移时的精度较低. 后2组任务中本文的分类精度相对低于M³SDA^[10]，2种算法均是基于ResNet实现，但M³SDA^[10]使用的是ImageNet 预训练开发后的模型，即自然场景中的对象识别，优势在于拥有大量的预训练数据，故准确率相对较高. 在相同样本量的情况下，本文方法的分类精度比所有的主流方法高，表明本文的模型不仅能够提取到更高级的语义知识，促进域间对齐，而且利用域间差异损失减少了各源域间决策边界的分类差异，提高了分类器的泛化能力，取得了较好的分类结果.

在Office-31和Office-Caltech10 2种数据集中，通过组合算法中不同部分的损失函数对模型进行优化，对比所得的分类精度，分析各部分损失函数对模型性能的影响，实验结果如图7、8所示. 图中，NO DIS表示模型中含有源域分类损失和自监督任务损失，NO S-T表示模型中含有源域分类损失和域间差异损失，ALL NO表示模型中仅含有源域分类损失，OUR表示模型中包含所有的损失函数. 从图7、8可以看出，当自监督任务损失与域间差异损失均不存在时，模型的迁移性能最差. 例如在AW-D这一组任务中，当与无域间差异损失比较时，本文算法的精度提高了4.4%，比无自监督任务对齐损失时高6.6%，比两者损失均无时高8.2%. 在DWC-A这一组任务中，当与无域间差异损失比较时，本文算法的精度提高了5.4%，比无自监督任务对齐损失时高6.4%，比两者损失均无时高7.5%. 自监督任务损失包含自监督任务对齐损失和自监督任务语义一致损失，无标签信息的源域和目标域样本通过自监督任务对齐损失对源域和目标域的对齐进行优化，自监督语义一致损失是对自监督任务本身进行优化，保证样本前、后语义的一致性. 域间差异损失优化了源域间公共类别的分类差异，提高了分类精度. 当缺少自监督任务损失和域间差异损失时，模型直接将源域分类器推广到目标域，没有对域间的对齐及分类器间的对齐进行优化，导致分类精度过低. 缺少自监督任务损失时的迁移性能相对低于缺少域间差异损失时的性能，表明自监督任务损失有效优化了域间特征的对齐效果，特征分布的差异减小. 图7、8中本文算法的精度最高，表明各部分损失函数的有效性，自监督任务损失和域间差异损失对模型具有良好的优化效果，不仅缩减了域间数据分布的差异，而且减少了源域决策边界的分类差异，提高了模型的迁移性能.

为了验证3个自监督任务对域间对齐的有效性，对无自监督任务对齐损失时的模型、无语义一致损失时的模型、不使用自监督任务训练的模型与本文所提模型的分类精度进行对比分析，结果如图9所示. 图中，NO NCE指的是模型不使用语义一致损失优化；NO S指的是模型不使用自监督任务对齐损失优化，NO Tasks指的是模型不使用自监督任务，直接将源域分类器推广到目标域. 从图9可以看出，不使用自监督任务时的模型分类效果最差，无自监督任务对齐损失时的模型分类精度效果次之. 若模型不使用自监督任务，则源域和目标域之间的数据分布保持原有状态，没有减小，源域分类器不适用于目标域，导致分类结果最差. 自监督任务对齐损失可以优化源域和目标域的对齐效果，减少域间隙，缺少该损失函数使得对齐效果较差，导致分类精度降低，表明自监督任务对齐损失的有效性. 语义一致损失是对自监督任务训练中数据特征前、后的语义一致性进行优化，有效地进行域间对齐，因此迁移性能相对于前者较高. 本文在优化对齐的同时，对自监督任务自身进行优化，提高了分类精度.

域间差异损失是为了减少源域间公共类别的分类差异，对各源域分类器进行对齐. 为了证明本文使用的函数的有效性，将多种距离函数作为域间差异损失，对比所得的分类精度，实验结果如图10所示. 选取L1损失、余弦相似性、KL散度和L2损失作为比较对象，L1为L1损失，cos为余弦相似性，kl为KL散度，L2为L2损失. 从图10可以看出，3种任务中，使用其他各项损失函数所得到的分类精度均低于L2损失优化后所得到的结果，表明使用L2损失对源域分类器对齐的有效性.

在Office-31和Office-Caltech10数据集上删改，构造出类别不均衡的条件，样本量如图11、12所示. 图中，S为各样本量. 为了构造类别不均衡的场景，在样本量较多的类别中，对样本量进行删减. 在样本量较少的类别中，对所有样本进行复制，直接添加在当前类别中.

在Office-31数据集中，取每个域中的4个类别，对各类别的样本量进行调整，以构造出类别不均衡的条件. 在AD-W这一组任务中，类别1和类别2中的样本量比例为8∶1，类别3和类别4中的样本量比例为4∶1；在AW-D中，类别1和类别2中的样本量比例为8∶1，类别3和类别4中的样本量比例为2.5∶1. 在Office-Caltech10数据集中，取每个域中的3个类别，各类别的样本量调整如下. 在AWD-C这一组任务中，类别1的样本量比例为9∶3∶1，类别2的样本量比例为4∶1∶1，类别3的样本量比例为9∶3∶1. 在ADC-W这一组任务中，类别1的样本量比例为9∶1∶15，类别2的样本量比例为4∶1∶5，类别3的样本量比例为3∶1∶3. 在DWC-A这一组任务中，类别1的样本量比例为1∶3∶15，类别2的样本量比例为1∶1∶5，类别3的样本量比例为1∶3∶10. 在ACW-D这一组任务中，类别1的样本量比例为3∶5∶1，类别2的样本量比例为4∶5∶1，类别3的样本量比例为3∶3∶1.

根据每个域中不同类别中样本的数量，根据式（10）设置了样本特征的权重参数，在模型训练中对各样本特征添加权重参数. 权重设置如图13、14所示. 图中，w为各样本权重. 从图11~14可以看出，在同一个域中，样本量比例较小的类别所设置的权重较大，样本数量比例较大的类别所设置的权重较小，可以达到平衡样本的效果，使得模型训练时对所有类别公平.

为了验证权重参数对平衡样本的有效性，对添加权重参数前、后模型的分类性能进行对比分析，分类精度如表3、4所示. 可以看出，在添加权重参数后，模型的分类精度有所提升. 在AD-W这一组任务中，添加权重参数后，精度提高了6.8%；在ADC-W这一组任务中，添加权重参数后，精度提高了8.2%. 由以上对比结果可知，在类别不均衡的条件下，当每对源域和目标域进行训练时，在样本量较少的类别中，会造成特征较少难以提取规律，数量较多的样本会被模型过度依赖而导致过拟合问题. 在多源场景中，由于各源域均存在类别不均衡的问题，造成训练适用于目标域的分类器更加困难. 当模型应用到目标域上时，模型的性能达不到理想效果. 在添加权重参数后，有效地平衡了各源域间的样本，使得模型对丰富类和稀有类更加公平, 解决了样本较少时难以提取特征规律的问题，提高了分类器的泛化能力，优化了模型的迁移性能.

针对多源域聚合下提取域不变特征较困难以及忽略对无标签数据自身信息的学习的问题, 本文提出基于自监督任务的多源无监督域适应法. 本文对各源域标签数据分类器与无标签数据使用自监督任务进行联合训练,设计新的优化损失函数对训练过程进行有效的优化. 与多个主流方法进行对比, 本文方法都取得较好的结果, 证明了本文方法的可行性.

在未来的工作中, 可以引进新的自监督任务对无标签数据进行训练，以获得高级语义特征，有助于下一步的分类工作. 本文只探讨了闭集场景下的迁移，没有对其他现实场景进行讨论，可以将自监督任务与其他迁移机制联合使用，以解决更多场景下（开放集、闭集、部分集）的问题.