在许多实际应用的推动下，国内外学者提出大量的多视图表示学习方法，如多视图联合表示学习^[1-5]、多视图对齐表示学习^[6-11]和多视图共享-特有表示学习^[12-15]等方法，它们的性能在很大程度上依赖于大规模标注数据集. 在实际应用中，标注数据的收集往往费时费力. 多视图数据中有限的标签推动了半监督多视图学习的研究，现有方法主要有基于伪标签的方法^[16]、基于局部平滑正则的方法和基于图的方法^[17-20]. 其中，基于图的方法旨在为有标签和无标签数据构建亲和矩阵或近邻图，通过相连边将标记信息从标签数据传播到无标签数据^[21-27].

现有的半监督多视图学习方法存在以下局限. 1）虽然它们尝试挖掘标签空间的鉴别信息和无标签空间的结构信息，但很少有方法在统一的框架下同时挖掘这2类信息. 2）现有方法在无标签空间主要基于线性组合或联合正则化技术捕捉多视图数据的一致性结构信息，忽略了大量有价值的互补性结构信息.

针对上述局限，本文设计基于相似矩阵融合和鉴别表示的半监督多视图表示学习方法SMLSDR（joint learning similarity and discriminant representation for semi-supervised multi-view learning）. 该方法能够在标签空间和无标签空间同时利用数据的一致性和互补性，利用标签空间学到的鉴别特征提升近邻图中样本相似性的构建，利用无标签数据中蕴含的相似性信息提升表示学习能力.

在半监督场景下，为了充分利用标签空间的鉴别信息和无标签空间的结构信息，提出基于伪标签的半监督多视图学习方法. 通过在标签空间设计各视图深度特定表示网络，充分挖掘和利用视图间的互补信息. 在无标签空间，设计基于局部结构的相似矩阵交叉融合策略，充分利用视图间互补的结构信息，实现视图间互补信息的有效利用. 具体地，SMLSDR主要包含3个模块，分别如下：在标签空间充分挖掘一致和互补性鉴别特征信息；在无标签空间利用交叉扩散策略实现相似矩阵融合，挖掘多视图数据的一致性和互补性结构信息；基于谱聚类的标签传播模块. 图1给出SMLSDR的整体架构和训练流程.

假设$ \left\{{\boldsymbol{X}}^{v}\in {\bf{R}}^{{{d}_{v}}\times N}\right\}_{v=1}^{V} $为具有$ V $个视图、$ C $个类别的数据集，其中每个视图有$ N $个样本，$ {d}_{v} $为$ {\boldsymbol{X}}^{v} $的特征维度. 令$ {\boldsymbol{X}}^{v}=\left\{\boldsymbol{x}_{i}^{v}\in {\bf{R}}^{{{d}_{v}}}\right\}_{i=1}^{N} $表示视图$ v $的样本集，$ \boldsymbol{x}_{i}^{v} $为视图$ v $的第$ i $个样本，其中$ v=1{,}\;2,\;\cdots ,V $，$ n=1{,}\;2,\;\cdots ,N $.

为每个视图构建一个神经网络$ \left\{{f}_{v}\right\}_{v=1}^{V} $，用于学习每个视图的深度特定表示，其中$ {f}_{v} $用于将视图从$ {\bf{R}}^{{{d}_{v}}} $空间映射到$ {\bf{R}}^{d} $空间，该过程可以表示为

(1)$ \boldsymbol{y}_{i}^{v}={f}_{v}\left(\boldsymbol{x}_{i}^{v}\right). $

式中：$ {\boldsymbol{Y}}^{v}=\left\{\boldsymbol{y}_{i}^{v}\in {\bf{R}}^{d}\right\}_{i=1}^{N} $；$ {f}_{v} $为3层$ \left\{{d}_{v},l,d\right\} $的全连接网络，其中l、d分别为隐藏层和输出层的节点数， $ l=512，d=256 $.

构建3层$ \left\{{l}_{\mathrm{i}},{l}_{\mathrm{h}},{l}_{\mathrm{o}}\right\} $的全连接分类网络$ {f}_{\mathrm{c}} $. 为了简便起见，SMLSDR将所有的视图特定表示连接起来作为分类网络的输入：

(2)$ \boldsymbol{z}_{i}^{v}={f}_{\mathrm{c}}\left(\begin{aligned} \underset{v\in [1,V]}{{f}_{\text{con}}\left(\boldsymbol{y}_{i}^{v}\right)}\end{aligned}\right). $

式中：$ {f}_{\text{con}}(\cdot ) $表示连接操作；$ {l}_{\mathrm{i}} $、$ {l}_{\mathrm{h}}、{l}_{{\mathrm{o}}} $分别为分类网络$ {f}_{\mathrm{c}} $的输入层、隐藏层、输出层的节点数，$ {l}_{\mathrm{i}}=dV $，$ {l}_{\mathrm{h}}=128 $，$ {l}_{\mathrm{o}}=C $，其中$ C $为数据的类别数.

利用高斯核，为每个视图特定表示$ \left\{{\boldsymbol{Y}}^{v}\right\}_{v=1}^{V} $构建相似矩阵$ {\boldsymbol{W}}^{v}={\left[{W}^{v}(i,j)\right]}_{N\times N} $. 其中，$ {W}^{v}(i,j) $为视图$ v $的特定表示中样本$ y_{i}^{v} $和$ y_{j}^{v} $的相似度. 为了整合这些由多个相关表示构成的相似矩阵，将相似矩阵$ {\boldsymbol{W}}^{v} $进行归一化得到$ {\boldsymbol{P}}^{v} $:

(3)$ {{P}}^{v}(i,j)=\begin{cases} \dfrac{{{W}}^{v}(i,j)}{2 \displaystyle \sum\nolimits_{k\neq i}^{N}{{W}}^{v}\left(i,k\right)},\;j\neq i;\\1/2,\;j=i.\end{cases} $

式中：$ \displaystyle \sum\nolimits_{j=1}^{N}{{P}}^{v}\left(i,j\right)=1 $.

Huang等^[28]的研究表明，样本空间中的局部结构信息更能反映样本间的关系. 为了度量样本间的局部相似性，基于K-最近邻算法（K-nearest neighbor，KNN）构建稀疏相似矩阵，该过程表示如下：

(4)$ {S}^{v}(i,j)=\begin{cases} \dfrac{{W}^{v}(i,j)}{{ \displaystyle \sum}_{k\in {N_{i}^{v}}}{W}^{v}\left(i,k\right)},\;j\in N_{i}^{v};\\0,\; j\notin N_{i}^{v}.\end{cases} $

式中：$ N_{i}^{v} $为$ y_{i}^{v} $的近邻集合. 该操作将不相邻的样本间的相似度设置为0.

在进行相似矩阵融合前，利用多源数据间的有益交互，增强彼此捕捉到的结构信息. 相似矩阵间的有益交互可以按下式^[29]开展：

(5)$ Q^{v}\left(i,j\right)={\sum}_{k\in {N_{i}^{v}}}{\sum}_{l\in {N_{j}^{v}}}{S}^{v}(i,k) {S}^{v}(j,l) \frac{ \displaystyle \sum\nolimits_{u\neq v}{S}^{u}\left(k,l\right)}{V-1}. $

融合的相似矩阵可以表示为

(6)$ F=\frac{ \displaystyle \sum\nolimits_{v=1}^{V}Q^{v}}{V}. $

采用交替迭代优化的训练策略，依次训练深度鉴别表示学习网络和执行相似矩阵融合，实现标签传播. 如图1所示，该交替迭代优化主要有以下5个步骤.

1）利用训练集中的有标签样本，训练深度鉴别表示学习网络，计算验证集的准确率.

2）使用经过训练的深度鉴别表示学习网络，对训练集中的所有数据（有标签样本和无标签样本）进行编码，得到整个训练集样本在每个视图上的特定表示.

3）基于训练集样本的各视图特定表示，构建相似矩阵，并进行交叉扩散以改进各视图结构信息，根据式(5)得到融合的相似矩阵.

4）基于融合的相似矩阵，利用谱聚类将训练集样本聚成$ C $个簇，从而将有标签数据的标签信息传递到无标签数据，对无标签数据进行打标. 为了提高打标的准确性，利用分类网络对新打标的数据重新进行标签预测，只保留聚类标签与预测标签一致的新打标数据.

5）叠加打标后的数据和原始有标签数据作为新的有标签数据，重新训练深度鉴别表示学习网络，计算验证集的准确率.

SMLSDR在每次迭代中都重复执行上述5个步骤，直至验证集的准确率不再提高或训练集中所有的无标签样本都已打标.

选择5个基准多视图数据集，包括2个网页分类的数据集（WebKB^[30]、AD^[30]）、3个图像分类的数据集（Caltech-7^[22]、NUS-Object^[31]、NoisyMNIST）.如表1所示为6个数据集的基本属性.

在上述5个公开的基准多视图数据集上，将SMLSDR与几种最前沿的半监督多视图学习方法进行对比，分别是SMGCL^[32]（基于图的方法）、SMDDRL^[33]（基于伪标签的方法）、MMatch ^[34]（基于伪标签的方法）、Co-embedding^[35]（基于伪标签的方法）、RSSMvSI^[36]（基于图的方法）、MLAN ^[22]（基于图的方法）、ERL-MVSC^[37]（基于正则学习的方法）.

对于每个数据集，随机选择60%的数据作为训练集，20%的数据作为验证集，并将剩余20%的数据作为测试集. 在所提方法SMLSDR中，特征嵌入网络$ {f}_{v} $为3层全连接网络，隐藏层和输出层大小分别设置为$ l=512 $和$ d=256 $. 分类网络$ {f}_{c} $为3层全连接网络，隐藏层和输出层大小分别设置为$ {l}_{\mathrm{h}}=128 $和$ {l}_{\mathrm{o}}=C $. 这2个网络的激活函数均采用Relu激活函数. 在实验中，批大小S_B设置为64，使用Adam优化器来训练网络，将学习率设置为0.000 1. KNN中，超参数$ K $设置为20. 为了保证实验的公平性，对比方法中的参数设置沿用对比方法^[22,32-37]的设置.

利用分类准确率评估每个算法的性能. 采用的5个基线数据集中，WebKB和AD为二分类数据集，Caltech-7、NUS-Object和NoisyMNIST为多分类数据集. 对于多分类数据集的分类准确率，采用本文方法计算每个类别的未加权平均值，作为最终评价指标. 半监督学习的目的是从有限的标记样本和大量的未标记样本中挖掘更多的信息，以实现分类或聚类这些下游任务. 为了展示不同算法的分类能力，将训练集中标记样本的百分比分别设置为10%、20%、30%、40%、50%、60%、70%、80%、90%，记录在不同占比下模型的分类性能. 对于每个数据集，记录程序运行20次的平均分类准确率. 所有实验均在同一台计算机上进行，该计算机的配置情况如下：Intel i7四核3.6 GHz CPU、2个NVIDIA GTX1080Ti GPU和16 GB内存.

如图2~6所示为在5个数据集上的实验结果. 其中，P为训练集中有标签数据的占比，Acc为分类准确率. 通过这些实验结果，可以得到以下结论.

1）随着训练集中有标签样本的增加，所有方法的分类准确率都有所提高，表明了标签信息对分类的重要性.

2）SMLSDR在所有数据集上都优于其他对比方法. 原因可能有以下2点：1） SMLSDR不仅构建了相似性度量来利用无标签数据，而且采用深度表示学习来挖掘标签空间的鉴别信息. 2）SMLSDR不仅挖掘了标签空间的鉴别信息，而且在样本空间利用多视图数据的互补性提升彼此构建的相似性度量，从而为模型带来更多、更准确的标签数据.

为了充分利用标签空间的鉴别信息和无标签空间的结构信息，SMLSDR主要配备了2个模块来实现上述目标，即标签空间的深度鉴别表示学习（deep discriminative representation, DDR）模块和无标签空间的相似矩阵融合（similarity matrices fusion, SMF）模块. 利用消融实验来验证这2个模块的有效性，对SMLSDR与其2种变体进行比较.

-DDR——在SMLSDR模型上删除DDR模块：即在标签空间，只将各视图表示进行拼接后输入分类网络，不再对各视图进行深度特定表示学习. 在该版本中，模型的其他模块和参数保持不变.

-SMF——在SMLSDR模型上删除SMF模块：即在无标签空间，不再构建相似矩阵来挖掘数据的结构信息，相应地，利用谱聚类进行标签传播的输入改为训练集样本编码. 在该版本中，模型的其他模块和参数保持不变.

将训练集中标记样本的百分比设置为70%，并以分类准确率为评价指标对它们的性能进行比较，实验结果如表2所示. 从实验结果可以得出以下结论：SMLSDR在所有数据集上的性能明显优于它的2种变体，说明标签空间的深度鉴别表示学习和无标签空间的相似矩阵融合都对半监督分类有一定的贡献.

SMLSDR需要从每种表示中构建的相似矩阵进行融合，得到融合的相似矩阵. 为了研究不同的融合策略的有效性，通过实验比较以下几种融合方式.

1）线性融合方式（linear fusion, LF）：直接对$ {\boldsymbol{P}}^{v} $采取求和取平均操作来得到融合相似性矩阵.

2）基于全局结构的交叉扩散方式^[29]（cross diffusion fusion based on global structure，GCF）：在对相似矩阵采取求和取平均操作前，基于全局结构实现样本空间多视图数据的有益交互操作.

3）基于局部结构的交叉扩散方式（cross diffusion fusion based on local structure，LCF）.

如表3所示为相似矩阵融合策略在所有数据集上的性能对比结果. 其中，训练集中有标签数据的占比为80%. 从表3可以看出，3种融合策略的性能在所有数据集上都取得了一致的对比结果，基于局部结构的交叉扩散策略性能最优，线性融合策略的性能最差.

通过实验，验证K近邻算法中参数$ K $对模型性能的影响. 在数据集AD和NUS-Object上进行实验，验证参数$ K $对SMLSDR模型性能的影响. 具体地，鉴于S_B = 64，本实验中$ K $的取值为10、20、30、40、50、60. 如图7所示为在数据集AD和NUS-Object上，训练集中有标签数据不同占比下的实验结果.

在AD数据集上，当训练集中有标签数据占比固定时，所提方法SMLSDR的性能会随着$ K $的增加先提升再降低. 具体地，当训练集中有标签数据占比为10%、20%、30%、40%、70%、80%、90%时，分别在$ K=20 $时取得最优值. 当训练集中有标签数据占比为50%、60%时，分别在$ K=30 $时取得最优值. 当占比为50%时，$ {\mathrm{Ac}}{{\mathrm{c}}}_{K=30}-{\mathrm{Ac}}{{\mathrm{c}}}_{K=20}=0.12 {\text{%}} $. 当占比为60%时，$ {\mathrm{Ac}}{{\mathrm{c}}}_{K=30}-{\mathrm{Ac}}{{\mathrm{c}}}_{K=20}=0.11 {\text{%}} $. 在NUS-Object数据集上，当训练集中有标签数据占比固定时，所提方法SMLSDR的性能会随着$ K $的增加先提高再降低. 具体地，当训练集中有标签数据占比为30%、40%、60%、70%、80%时，分别在$ K=20 $时取得最优值. 当训练集中有标签数据占比为10%、20%、50%、90%时，分别在$ K=30 $时取得最优值. 当占比为10%时，$ {\mathrm{Ac}}{{\mathrm{c}}}_{K=30}-{\mathrm{Ac}}{{\mathrm{c}}}_{K=20}=0.06 {\text{%}} $. 当占比为20%时，$ {\mathrm{Ac}}{{\mathrm{c}}}_{K=30}-{\mathrm{Ac}}{{\mathrm{c}}}_{K=20}=0.48 {\text{%}} $. 当占比为50%时，$ {\mathrm{Ac}}{{\mathrm{c}}}_{K=30}-{\mathrm{Ac}}{{\mathrm{c}}}_{K=20}=0.40 {\text{%}} $. 当占比为90%时，$ {\mathrm{Ac}}{{\mathrm{c}}}_{K=30}-{\mathrm{Ac}}{{\mathrm{c}}}_{K=20}=0.12 {\text{%}} $.

实验结果表明，当近邻样本取值较合理，如$ K=20 $（经验值）时，模型在大多数情况下都能获得较理想的结果.

结合深度鉴别表示学习、基于交叉扩散策略的相似矩阵融合和谱聚类，提出新的半监督学习策略，进而提出半监督多视图相似性和鉴别表示联合学习方法SMLSDR. 在机器学习领域的5个基准多视图数据集上的实验结果表明，SMLSDR的性能优于现有的半监督多视图学习方法. 未来将进一步研究可解释性半监督多视图表示学习.