随着数字化时代的到来，大量的文档数据被生成和存储，涵盖了广泛的学科领域，有着重要的学术和实用价值. 文档通常具有复杂的结构，为了从非结构化文档中提取有价值的信息，首要任务是对文档进行结构分析，以确定文档中每个元素的类型、位置和排列方式，从而更好地理解文档的内容. 识别非结构化数字文档布局是将文档解析为结构化、机器可读的格式，进而支持下游应用程序的重要步骤^[1].

在早期的研究工作中，大多都基于图像处理和文本解析的方式对文档进行结构分析. Watanabe等^[2]提出基于水平垂直线的方法来识别定位文档中的表格区域. Hirayama^[3]将包含表格或图形的区域通过水平和垂直线的方式区分开来，使用DP匹配方法来分析区域结构. Fang等^[4]提出利用视觉分隔符和几何内容布局信息的文档区域检测方法. Bunke等^[5]提出图嵌入框架与最近邻分类器，对传统文档进行结构分析. 尽管这些方法取得了较好的成果，但对文档图像的质量要求较高，对文本复杂度较高的文档处理效果较差.

随着深度学习技术的迅速发展，该技术已被广泛应用到文档布局分析任务中^[6]. 张真等^[7]提出基于双向长短期记忆网络(bi-directional long short-term memory， BiLSTM)的流式文档结构识别方法，取得了较好的成果. Saha等^[8]使用Faster R-CNN^[9]和Mask R-CNN^[10]网络来提取各区域特征，精准识别出文档表格区域. Riba等^[11]通过图神经网络(graph neural network， GNN)来识别文本和图片区域，构建一个图来判别表格区域. Xu等^[12-13]提出基于Transformer的文档布局分析模型LayoutLM和基于视觉Transformer架构的DiT(Document Image Transformer)模型. 前者不仅可以处理文本和布局信息，还可以处理多语言文档. Appalaraju等^[14]提出Docformer模型，将文档布局分析任务转化为序列标注问题.

基于深度学习的文档布局分析方法具有较好的泛化能力和鲁棒性，但存在以下几个挑战. 1)由于文本和图像不同类型数据具有不同的特征表示方式，在文本和图像模态预训练目标上存在嵌入不对齐的问题，导致模型在提取目标元素时丢失精度，限制了多模态任务的性能. 2)对文档图像预处理的流程复杂，大多采用基于卷积神经网络(convolutional neural networks， CNN)结构的模型(如ResNet)对文档图像进行区域特征提取，增大了模型的复杂度.

针对以上问题，本文提出基于Transformer的多模态级联文档布局分析网络(multimodal cascaded object detection network， MCOD-Net)，实现文本和图像模态预训练目标的对齐嵌入. 使用图像块的线性投影特征表示文档图像，无需复杂的预处理流程，降低模型的参数量. 实验结果表明，所提出模型在文档布局分析任务上具有优异的性能.

Detectron2框架是Facebook AI研究院(Facebook AI Research， FAIR)于2018年初公开的目标检测平台，具有简洁高效、简单易用的特点，受到广泛关注^[15]. 搭建Detectron2目标检测环境，基于Detectron2构建MCOD-Net模型，实现文档布局分析的任务. MCOD-Net模型是多级目标检测网络，该模型采用6层Transformer编码器进行特征提取，包含6个多头自注意力模块，隐藏层大小$D = 384$，表示前馈神经网络的隐藏层有1 536个神经元. 通过6层多模态Transformer模块进行编码. 使用Cascader R-CNN^[16]作为目标检测模型的骨干网络进行解码. 模型从不同的Transformer层中提取单尺度特征，使用分辨率修正模块，将单尺度特征转换为多尺度的特征金字塔网络 (feature pyramid network， FPN)特征. 模型的整体结构如图1所示.

词块对齐嵌入模块如图1的词块嵌入所示，主要实现文档图片在文本模态和图像模态上对齐嵌入. 该模块主要分为文本嵌入和图像嵌入2个部分.

文本嵌入部分结合了单词嵌入和位置嵌入的方法. 如图1所示，使用OCR技术对文档图像进行预处理，获得文档图像中标题、文本、列表、表格元素包含的所有文本内容，图片元素在图像嵌入部分实现. 使用预训练模型RoBERTa来初始化词嵌入. 位置嵌入包含一维位置和二维布局位置嵌入. 其中，一维位置指的是文本序列中标记的索引，二维布局位置指的是文本序列的边界坐标. 根据文档图像的大小对所有坐标进行归一化处理，通过嵌入层分别嵌入X轴、Y轴、宽度和高度的特征. 由于文本存在上下文关系，采用段落级布局位置，即每一段落中的词共享相同的二维布局位置. 整体位置嵌入逻辑如下所示：

(1)$ {\text{PE}}_{{(i，j)}}\text=\left\{\begin{array}{l}{\text{pos}}_{{i}},\;\; { j=1}\text{；}\\ {\text{pos}}_{{j}},\;\;{i=1}\text{；}\\ \dfrac{\left|{i/2}\right|}{{\text{10 000}}^{\text{2}\left({j/2}\right){{/d}}_{\text{model}}}},\;\;{ j 为偶数,\;i为奇数}\text{；}\\ \dfrac{\left|{i/2}\right|}{{\text{10 000}}^{\text{2}\lceil \left(j-1\right)/2\rceil {{/d}}_{\text{model}}}},\;\;{ i 为偶数,\;j为奇数,\;j \notin [w_{\rm{s}},\;w_{\rm{e}}]}\text{；}\\ \dfrac{\left|{i/2}\right|}{{\text{10 000}}^{\text{2}\left({j/2}\right){{/d}}_{\text{model}}}}·\dfrac{\left|{i/2}\right|}{{\text{10 000}}^{\text{2}\lceil \left(j-1\right)/2\rceil {{/d}}_{\text{model}}}},\;\;{i、j均为奇数或均为偶数}\text{；}\\ \dfrac{\left|{w/2}\right|}{{\text{10 000}}^{\text{2}\left({j/2}\right){{/d}}_{\text{model}}}}·\dfrac{\left|{j/2}\right|}{{\text{10 000}}^{\text{2}\lceil \left(w-1\right)/2\rceil {{/d}}_{\text{model}}}},\;\;{i为偶数,\;j为奇数,\;}j \in \left[{w}_{{\rm{s}}}，{w}_{{\rm{e}}}\right].\end{array} \right.$

式中：${\rm{po}}{{\rm{s}}_i}$为输入序列中第$i$个单词的位置，${{{d}}_{{\text{model}}}}$为模型的嵌入维度，$i$和${{j}}$分别为单词在输入序列中的位置索引和在单词级别位置编码中的维度，$w$为当前单词的长度，${w_{\rm{s}}}$和${w_{\rm{e}}}$分别为当前单词的起始位置和结束位置. 式（1）的前2行分别将输入序列的位置信息嵌入到特征向量的第1维和第2维中. 后2行使用正弦和余弦函数，将相邻单词的相对位置编码为特征向量中的一维. 最后一行用来编码单词级别的位置信息.

对于图像嵌入部分，受到VIT^[17]和VILT^[18]的启发，使用图像块的线性投影特征来表示文档图像. 将图像块的线性嵌入序列作为多模态Transformer的输入. 给每个图像块添加可学习的一维位置嵌入. 具体来说，将整个文档图像大小调整为$H \times W$，使用$ {\boldsymbol{I}} \in {{\bf{R}}^{C \times H \times W}} $来表示图像，其中$C$、$H$和$W$分别为文档图像的通道大小、高度和宽度. 将整个文档图像切分成一串均匀$T \times T$大小的图像块，使用${\boldsymbol{v}} \in {{\bf{R}}^{N \times ({T^2} \times C)}}$表示将图像块线性投影到$D$维，并将其转换成一串向量，长度为$N = H W/{T^2}$.

表1中，N_p为参数量. 如表1所示， 模型先将图像块展平，然后经过线性映射获得图像特征序列，不是依赖于传统基于CNN架构的网络模型抽取文档图像网格特征作为Transformer的输入. 采用该方式，可以大大减少模型的可训练参数.

特征编码模块如图1的 Multimodel Transformer层所示，该模块包含6层Transformer编码器，包括6个多头自注意力块，其中5个自注意力块分别进行每一类元素的检测，另外一个自注意力块进行文本和图像位置对齐的检测. 每个Transformer层提取单尺度特征，利用分辨率校正模块将单尺度特征转换为多尺度的FPN特征. FPN模型的基本思想是通过跨层级连接来结合高层次语义信息与低层次的细节信息，构建金字塔式的特征层级结构^[19]. 具体来说，FPN将下采样(池化)过程中的特征图上采样(插值)到原始分辨率，与原始特征图进行融合，生成高分辨率、高语义信息的特征图. 这些特征图可以用于不同尺度的目标检测任务. FPN的主要优点是能够在不引入额外参数的情况下，有效地提高目标检测模型的性能.

特征解码模块如图1的Cascader R-CNN层所示. 该模块对多模态Transformer模块中编码的数据进行层层解码，得到和原始图像相同像素的检测特征图. 它通过级联多个R-CNN模型，逐步提高检测性能. 在级联R-CNN中，第1个阶段使用较少的候选区域，以尽可能高的召回率生成更多的候选区域. 在之后的几个阶段中，通过对候选区域进行更加精细的筛选和分类，提高检测的精度. 具体来说，第2阶段将第1阶段中提取到的特征进一步加工，以提高准确性. 第3阶段和第4阶段分别通过增加更多的特征和使用更强的模型，更进一步提高准确性.

模型使用掩码语言模型(masked language modeling, MLM)、掩码图像模型(masked image modeling, MIM)和词块对齐(word-patch alignment, WPA)3个预训练目标进行训练，以自监督学习的方式学习多模态表示. 其中MLM的目标是通过遮盖输入文本中的一些词语，使得模型根据上下文信息来预测被遮盖的词语，以提高模型理解上下文的能力^[20]. MIM是使模型通过联合处理上下文文本和图像表征，更好地理解视觉内容. 这种训练策略可以激励模型从多个视觉表征中解释视觉信息，提高模型的视觉推理能力^[21]. WPA是为了训练得到词块对齐而专门做的预训练^[22]. 整体预训练目标为

(2)$ L = {L_{_{{\rm{MLM}}}+{L_{{\rm{MIM}}}}+{L_{{\rm{WPA}}}}}} . $

MLM预训练中借鉴了BERT中掩码语言建模和LayoutLM中掩码视觉语义建模的方法. 采用跨度屏蔽策略遮罩30%的文本标记，跨度长度采用泊松分布($\lambda = 3$). 预训练目标根据图像标记和文本标记的损坏序列上下文表示，使得正确遮罩文本标记的对数可能性最大化，交叉熵损失最小化，计算式为

(3)$ {L_{{\rm{MLM}}}}(\theta ) = \sum\limits_{l = 1}^{L'} {\log_2 P_\theta ({y_{i}{|{X^{M'}}，{Y^{L'}}}})} . $

式中：$ M' $和$ L' $为掩盖的位置，$ {X^{M'}} $为图像标记，${Y^{L'}}$为文本标记，${y_i}$为正确遮罩文本标记，P为概率，$\theta $为Transformer模型的参数.

为了提高模型对上下文文本和图像的理解和表征能力，将BEiT^[23](bidiretional encoder representation from image transformers)中的MIM预训练目标改写为多模态Transformer模块. MIM采用顺时针遮盖策略，即在实验中随机对约40%的图像标记进行遮盖. 在MIM预训练中，利用交叉熵损失来引导模型学习文本和图像中被遮盖的部分，逐渐优化其预测能力. 对被掩盖的图像标记建模为

(4)$ {L_{{\rm{MIM}}}}(\theta ) = - \sum\limits_{m = 1}^{M'} {\log_2 P_\theta ({x_m}|{X^{M'}}，{Y^{L'}})} . $

式中：${x_m}$为被掩盖的图像标记.

图像标记的标签来自于图像标记器，它可以根据视觉词汇，将密集的图像像素转换成离散的标记. MIM有利于学习高层次的布局结构，而不是嘈杂的低层次细节.

由于使用MLM和MIM预训练策略随机屏蔽了文本和图像标记，但是在文本和图像模态之间没有明确的对齐学习. 为了实现文本和图像的对齐，引入WPA预训练，使得模型能够更好地理解文本词和图像块之间的细粒度对应关系. WPA预训练目标是预测文本词对应的图像块是否被遮蔽. 具体来说，当未被遮蔽的文本标记的对应图像标记也没有被遮蔽时，为该文本标记分配一个对齐的标签. 否则，分配一个未对齐的标签. 在计算WPA损失时，排除了被掩盖的文本标记，以防止模型学习被掩盖的文本词和图像块之间的对应关系. 采用2层MLP头，输入上下文文本和图像，输出二进制对齐或未对齐标签. 二进制交叉熵损失的计算式为

(5)$ {L_{{\rm{WPA}}}}(\theta ) = - \sum\limits_{\tau = 1}^N {\log_2 P_\theta ({z_\tau }|{X^{M'}}，{Y^{L'}})} . $

式中：$N$为未被屏蔽的文本标记的数量，${z_\tau }$为位于$\tau $位置的语言标记的二进制标签.

为了保证实验的可靠性和公平性，使用PubLayNet公开数据集进行实验，PubLayNet是大规模的文档布局分析数据集，通过自动解析PubMed XML文件来构建文档图像^[24]. 生成的注释涵盖了典型的文档布局元素，具有丰富的布局结构和内容类型，如标题、正文、图片、表格、列表等. 该数据集包含335 703张训练集、11 245张验证集和11 405张测试集. 该数据集的目标是为基于机器学习的出版物智能化处理提供公开、可用的数据资源，促进出版物版面分析领域的研究和进展^[24]. 该数据集及其标签如图2所示.

模型评估指标选取边界框的类别和平均精度均值mAP@IOU[0.50:0.95]，即交并比(intersection over union，IOU)阈值为0.50~0.95时的平均精度来衡量模型性能.评估指标的计算式为

(6)$ {\rm{mAP}} = \frac{{\displaystyle \sum\nolimits_{i = 1}^C {{\rm{A}}{{\rm{P}}_i}} }}{C} . $

式中：AP为精确率P(precision)和召回率R(recall)的平均精度，指的是所有图片内的某一具体类别的PR曲线下的面积；C为文档布局分析任务中的类别数量. 精确率的计算公式为

(7)$ {\text{Precision}} = \frac{{{\rm{TP}}}}{{{\rm{TP}}+{\rm{FP}}}} . $

召回率的计算公式为

(8)$ {\text{Recall}} = \frac{{{\rm{TP}}}}{{{\rm{TP}}+{\rm{FN}}}} . $

式中：TP、FP和FN分别为真阳性(true positive)、假阳性(false positive)和假阴性(false negative)，是机器学习中常用的几个统计量.

实验全部在Ubuntu 20.04系统，Pytorch框架下实现，硬件环境为GPU(NVIDIA Tesla V100)，内存为16 GB.MDOC-Net模型使用随机梯度下降优化器进行模型训练，动量参数设置为0.99，初始学习率为0.000 2，采用批量大小为2的小批量随机梯度下降法进行训练，设置0.05的权重衰减防止过拟合，训练轮数设置为60 000.

MCOD-Net模型采用6层Transformer编码器，每一层都包含6个自注意力模块，隐藏层的大小为$D = 384$，前馈网络的中间大小为1 536. 其中5个自注意力块分别进行每一类文档元素检测，另外一个自注意力块进行文本和图像位置对齐检测. 为了对文本输入进行预处理，采用字节对编码(byte pair encoding， BPE)对文本序列进行标记，最大序列长度$L = 512$. 在输入的文本中加入一个[CLS]标记，每个文本序列的开头和结尾都添加一个[SEP]标记. 当文本序列短于L时，使用[PAD]标记进行填充，这些特殊标记的边界坐标都设置为0. 图像嵌入的设置为$C \times H \times W = 3 \times 224 \times 224$，$T = 16$，$N = 196$.

在模型训练的过程中，采用分布式和混合精度训练，以减少内存成本，提升训练速度. 使用梯度积累机制，将样本批处理分成多个小批量样本，以克服大批量处理的内存限制. 为了实现稳定训练，利用CogView将注意力的计算公式修改为

(9)$ \begin{split} & {\text{softmax}}\left(\frac{{{{\boldsymbol{Q}}^{\rm{T}}}{\boldsymbol{K}}}}{{\sqrt d }}\right) = \\ &{\text{softmax}}\left(\alpha\left(\frac{{{{\boldsymbol{Q}}^{\rm{T}}}}}{{\alpha \sqrt d }}{\boldsymbol{K}} - {\text{max}}\left(\frac{{{{\boldsymbol{Q}}^{\rm{T}}}}}{{\alpha \sqrt d }}{\boldsymbol{K}}\right)\right) \right). \end{split} $

式中：Q、K分别为输入的查询矩阵和关键字矩阵，$\sqrt d$为向量维度，$\alpha = 32$.

为了验证MCOD-Net模型在文档布局分析任务中的有效性，在PublayNet公开数据集上比较分析DiT^[13]、BEiT^[23]、PublayNet^[24]、UDoc^[25]模型与提出MCOD-Net模型的性能差异.实验结果表明，MCOD-Net模型在文档布局分析任务中表现出优异性能，具有更高的准确性和鲁棒性，证明了其在解决实际问题上的有效性. 对比试验结果如表2所示. 表2表明，提出的MCOD-Net模型在PublayNet数据集上的整体性能指标达到了95.1%的最优效果，识别精度较基于Mask R-CNN骨干网络的BEiT^[23]模型提升了2.5%.验证了MCOD-Net模型在文档分析任务中性能的有效性和可靠性.

为了进一步体现所提出的MDOC-Net模型对文档图像中每类标签元素的识别能力，分别针对文档中的5类元素进行识别对比实验，实验结果如表3所示.表3和图3表明，MDOC-Net模型在PubLayNet数据集上对文档中标题、文本、图片、列表和表格5类元素的总体平均精度都取得了较好的结果，特别在标题和列表元素识别上，所提模型的评估指标分别达到了90.5%和95.4%的最优效果，其中标题元素识别精度比UDoc^[25]模型提升了4%，列表元素识别精度比BEiT^[23]模型提升了2.3%.可知，所提模型较其他主流方法具有明显的优势.

为了更直观地展现MCOD-Net模型在文档布局分析任务上的有效性，使用测试集对模型的泛化能力进行检验，并进行可视化，如图4所示. 可知，MCOD-Net模型在文档布局分析中可以精准地检测出文档中的每一类元素，具有较高的准确率.

为了验证MDOC-Net模型的实际应用能力，通过Engineering Village、Web of Science和中国知网等各类知名高水平期刊检索网站，使用Al-Si alloy和Aluminum-silicon alloy作为检索关键字下载了大量结构复杂的铝硅合金金英文科研文献，由于文献的内容对文档布局分析任务的影响较小，PubLayNet数据集中标注出文档结构的标题、文本、图片、表格及列表类别元素，这些类别与铝硅合金文献中的结构类别几乎一致. 使用PubLayNet公开数据集训练MCOD-Net模型，在铝硅合金文献中进行结构布局识别，并进行可视化，如图5所示.

图5表明，即使在含有更多复杂图片和表格的铝硅合金文献中，MCOD-Net模型在文档布局分析任务中也可以准确地识别出文档图像中包含的各类元素. 这说明提出的方法完全可以适应目前的文档图像，不受文档结构复杂程度的约束，证明了模型对铝硅合金领域文献的结构布局分析具有可行性.

提出基于Transformer的MCOD-Net模型，针对文本和图像模态预训练目标嵌入不对齐的问题，构建词块对齐嵌入模块，采用MLM、MIM和WPA为目标进行预训练，促进模型在文本和图像模态上的表征学习能力. 对于当前主流模型依赖于CNN网络来对文档图像进行预处理，导致模型参数量增大的问题，直接使用原始文档图像块的线性投影特征来表示文档图像，在降低模型复杂度的同时，提升了模型性能. 实验证明，该模型在PubLayNet公开数据集上的mAP 指标达到95.1%. 相较于目前最优模型，整体性能提升了2.5%. 在未来的工作中，将考虑针对多语言文档的场景，通过跨语言模型迁移技术实现对不同语言的文档布局分析，提高模型的通用性和可扩展性.