浙江大学学报(工学版)

浙江大学学报(工学版), 2026, 60(11): 2395-2405 doi: 10.3785/j.issn.1008-973X.2026.11.009

计算机技术

加速大模型训练的双向交错流水线并行方法

吴厚明,, 陈岭,

1. 浙江大学 区块链与数据安全全国重点实验室，浙江 杭州 310027

2. 浙江大学 计算机科学与技术学院，浙江 杭州 310027

Bidirectional interleaved pipeline parallelism for accelerating large model training

WU Houming,, CHEN Ling,

1. State Key Laboratory of Blockchain and Data Security, Zhejiang University, Hangzhou 310027, China

2. College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China

通讯作者: 陈岭，男，教授. orcid.org/0000-0003-1934-5992. E-mail：lingchen@cs.zju.edu.cn

收稿日期: 2025-12-9  

Received: 2025-12-9  

作者简介 About authors

吴厚明（1984—），男，博士生，从事分布式机器学习研究.orcid.org/0009-0004-6793-6812.E-mail：houmingwu@zju.edu.cn , E-mail：houmingwu@zju.edu.cn

摘要

现有同步流水线并行方法因阶段间依赖和周期性参数同步引入大量流水线空泡，降低了设备利用率和训练效率，为此提出加速大模型训练的双向交错流水线并行方法BitPipe. 在统一框架下融合双向流水线执行与交错调度，设计双向交错流水线调度机制，以提升设备空闲时隙的利用率并支持更细粒度的阶段调度. 为了缓解并行度提升带来的通信开销，引入V形交错式模型划分策略，将部分跨设备通信转化为本地显存访问，结合设备映射与提前梯度同步优化，实现计算与通信的有效重叠. 基于Megatron-LM框架，所提方法在最多32张GPU上对GPT类与BERT类模型进行实验评估. 结果表明，相较于现有同步流水线并行方法，BitPipe实现了1.05×~1.28×的训练吞吐率提升，有效降低了流水线空泡并提高了训练效率.

关键词： 深度学习 ; 分布式训练 ; 流水线并行 ; 双向流水线 ; 交错流水线

Abstract

Existing synchronous pipeline parallelism methods introduce substantial pipeline bubbles due to inter-stage dependencies and periodic parameter synchronization, which reduce device utilization and training efficiency. To address this limitation, a bidirectional interleaved pipeline parallelism method named BitPipe for accelerating large-scale model training was proposed. Within a unified framework, bidirectional pipeline execution and interleaved scheduling were integrated. A bidirectional interleaved pipeline scheduling mechanism was designed to improve the utilization of idle device time slots and support finer-grained stage scheduling. To alleviate the communication overhead incurred by increased parallelism, a V-shaped interleaved model partitioning strategy was introduced to convert part of cross-device communication into local memory access. In addition, device mapping and eager gradient synchronization were employed to enable effective overlap between computation and communication. The proposed method was implemented based on the Megatron-LM framework and evaluated on GPT-like and BERT-like models using up to 32 GPUs. Experimental results show that BitPipe achieves a training throughput improvement of 1.05×–1.28× compared with existing synchronous pipeline parallelism methods. Moreover, BitPipe effectively reduces pipeline bubbles and improves training efficiency in large-scale model training.

Keywords： deep learning ; distributed training ; pipeline parallelism ; bidirectional pipeline ; interleaved pipeline

PDF (1112KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

吴厚明, 陈岭. 加速大模型训练的双向交错流水线并行方法. 浙江大学学报(工学版)[J], 2026, 60(11): 2395-2405 doi:10.3785/j.issn.1008-973X.2026.11.009

WU Houming, CHEN Ling. Bidirectional interleaved pipeline parallelism for accelerating large model training. Journal of Zhejiang University(Engineering Science)[J], 2026, 60(11): 2395-2405 doi:10.3785/j.issn.1008-973X.2026.11.009

随着深度学习模型规模的持续扩大，受限于单个设备的显存容量与计算能力，传统单机训练方式已难以满足大模型训练需求，推动了分布式训练技术的快速发展[1-3]. 围绕大模型高效训练，学术界与工业界提出数据并行[4-5]、张量并行[6]与流水线并行[7-9]等多种并行范式，并结合梯度量化[10-11]、稀疏化[12-13]、重计算与参数卸载[14-15]等系统级优化技术，逐步形成以Megatron-LM[16]和DeepSpeed[17]为代表的成熟训练框架. 流水线并行通过将模型划分为多个阶段并映射至不同设备，结合微批次调度，在保持训练语义一致性的同时有效缓解单设备显存压力，已成为支持大规模模型训练的重要技术路径.

现有流水线并行方法按梯度更新方式可大致分为同步与异步两类[18-20]. 异步方法[21-23]可最大限度提升设备利用率，但引入梯度不一致问题，影响了模型收敛稳定性，因此主流研究多聚焦于同步流水线并行. 同步流水线方法受制于阶段间依赖与周期性同步需求，不可避免地引入流水线空泡，导致训练效率受限. 为此，研究者提出多种改进方案，包括基于1F1B（one-forward-one-backward）调度及时释放中间激活显存的流水线并行方法[22,24]，通过细粒度阶段划分提升并发度的交错流水线方法[6,25-27]，利用设备内并行降低空泡的双向流水线方法[28-30]以及替换激活传输降低通信量的权重流水线方法[31-32]. 尽管现有方法改善了流水线并行效率，但改进路径普遍受限于共性瓶颈：流水线空泡抑制机制与通信模式的内在矛盾. 具体而言，为压缩空泡引入的更高并发度设计（如交错流水线的细粒度阶段划分以及双向流水线的设备内并行执行），往往伴随着通信开销的显著增加. 交错流水线由于阶段分布更为离散，须频繁进行设备间协作，引入大量点对点（peer-to-peer，P2P）通信. 双向流水线为维持并行分支的独立执行，须维护额外的模型副本，进而增加集合通信（all-reduce）负担. 权重流水线在高带宽互联环境下，通信优化收益往往出现退化. 上述“空泡−通信”之间的权衡困境，已成为制约大规模模型训练可扩展性与实际吞吐率提升的关键因素. 如何在显著降低流水线空泡的同时，有效抑制由并行度提升所带来的通信开销[33]，是本研究关注并试图解决的核心问题.

本研究提出双向交错流水线并行方法BitPipe，具体工作包括：1）构建双向交错流水线调度方式，在统一时间轴上协同组织2条方向相反的流水线，以提升设备并行度并支持细粒度阶段调度；2）提出V形交错式模型划分策略，通过局部阶段共置减少跨设备通信；3）结合设备映射与提前梯度同步优化通信路径，实现计算-通信重叠并降低同步开销.

1. 方　法

1.1. 总体概述

BitPipe旨在同步降低流水线空泡并控制通信开销，核心思想是将交错流水线组织为双向执行的2个并行分支，提高设备并发度并增强调度灵活性；同时通过V形交错式模型划分减少跨设备通信，结合设备映射与提前梯度同步对通信过程进行优化，实现计算与通信的有效重叠. 本研究使用的关键符号及含义如表1所示；采用的约束（如微批数量与流水线深度均为偶数）用于保证双向调度在同步训练语义下无冲突执行，约束设定与既有双向流水线方法（如Chimera[29]和MixPipe[30]）一致，有助于简化调度描述与理论分析. 在实际系统中，若不满足上述约束，可通过非对称的微批次分配或插入空微批次进行处理，BitPipe的调度机制仍然适用.

表 1   关键符号及含义

Tab.1  Key notations and definitions

符号含义符号含义
$ D $流水线深度$ N $小批次中的微批次数量
$ W $数据并行维度$ \hat{B} $小批次大小（$ \hat{B}=BNW $）
$ P $设备总数（$ P=WD $）$ {M}_{\text{θ}} $单个流水线阶段的权重显存占用
$ B $微批次大小$ {M}_{\text{a}} $单个微批次的激活值显存占用

新窗口打开| 下载CSV


1.2. V形交错式模型划分

传统的流水线并行方法通常将模型按层顺序划分为多个阶段，每个设备独立负责一个阶段. 为了进一步提高设备利用率，交错流水线并行方法（如1F1B-Int[6]）采用循环分配策略，将多个较小且非连续的阶段分配到同一设备上，随之而来的是较多的跨设备通信开销. 区别于上述循环划分方式，BitPipe引入V形交错划分策略[27]：在对模型阶段进行分配时，先将各阶段从前至后依次映射到各设备，再反向从后至前进行第2轮映射，构成“V”形分配路径. 如图1所示为在2设备、4阶段、2微批次配置下，循环交错划分与V形交错划分的差异. 可以看出，在保持阶段计算顺序不变的前提下，V形划分将部分连续阶段分配至同一设备，使原本的跨设备通信转化为本地显存访问，理论上可获得不亚于甚至优于原循环划分的通信效率.

图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1   循环交错划分和V形交错划分对比

Fig.1   Comparison between cyclic interleaved partitioning and V-shaped interleaved partitioning


1.3. 双向交错流水线调度

1.3.1. 基本结构

BitPipe的核心思想是将2条方向相反的V形交错流水线融合到同一组设备上，构成双向执行的2个并行分支，如图2所示. 为了方便分析，以流水线深度$ D=4 $为例进行说明. 在每次训练迭代中，设置微批次数与流水线深度相同，这是保证所有流水线设备持续活跃的最小配置. 在一条V形流水线中，阶段s1~s4按顺序映射至设备P1~P4，阶段s5~s8反向映射至P4~P1；另一条流水线采用镜像对称的映射方式. 每条流水线独立采用1F1B-Int策略调度$ N/2 $个微批次. 将2条流水线在同一时间轴上进行协同编排后，即得到BitPipe的完整调度方案. 2条分支的计算过程能够相互填充对方的空闲时隙，显著提高设备利用率. 为了保证调度过程中同一设备在同一时刻仅执行1个微批次计算（无冲突），要求流水线深度为偶数，该约束与现有双向流水线方法[29-30]一致.

图 2

新窗口打开| 下载原图ZIP| 生成PPT

图 2   BitPipe的模型划分与双向交错调度（流水线深度和微批次数均为4）

Fig.2   Model partitioning and bidirectional interleaved scheduling of BitPipe (both pipeline depth and number of micro-batches are four)


在满足$ N、D $及相应调度约束的典型配置下，从机制层面将BitPipe与现有同步流水线并行方法进行系统对比，结果如表2所示. 各对比项的预期收益如下. 1）模型划分：将部分P2P通信转为本地访问，降低延迟. 2）调度范式：空泡率进一步降低，设备利用率提升. 3）设备映射：优化all-reduce路径，提升通信效率. 4）同步时机：深度重叠计算与通信，缩短端到端耗时. 5）关键约束：确保调度无冲突. 表2明确了各关键模块的功能及其预期作用，体现了整体协同设计特点. 以4设备、4微批次的训练配置为例，4种同步流水线方法的调度形式如图3所示. 在1F1B-Int中，每个设备分配2个非连续子阶段（以深浅颜色区分）；在双向流水线Chimera中，每个设备同时承担2个方向的流水线计算（以不同文本样式区分）. 对比可见，BitPipe的流水线空泡更少，流水线刷新在时间轴上更早完成.

表 2   同步流水线并行方法机制对比（微批次数不小于流水线深度）

Tab.2  Mechanism comparison of synchronous pipeline parallelism methods (number of micro-batches not less than pipeline depth)

流水线方法模型划分调度范式设备映射同步时机关键约束
GPipe[7]顺序单向顺序计算后无
DAPPLE[24]顺序单向顺序计算后无
1F1B-Int[6]循环单向交错顺序计算后无
Chimera[29]顺序双向顺序提前同步$ D $为偶数
MixPipe[30]顺序双向跨节点优化提前同步$ D $为偶数
BitPipeV形双向交错跨节点优化提前同步$ D $为偶数

新窗口打开| 下载CSV


图 3

新窗口打开| 下载原图ZIP| 生成PPT

图 3   几种同步流水线并行方法在模型划分与微批次调度上的对比（流水线深度和微批次数均为4）

Fig.3   Comparison of different synchronous pipeline parallelism methods in model partitioning and micro-batch scheduling (both pipeline depth and number of micro-batches are four)


1.3.2. 空泡率

统计图3中各设备空闲时隙与流水线总运行时隙，得出BitPipe引入的空泡总量为$ {(3D-6)/4} $，其中前向计算贡献为$ {(D-2)/2} $，反向计算贡献为$ {(D-2)/4} $. 基于流水线并行与大模型训练领域反向计算开销约为前向2倍的通用经验假设[6,29-30]，BitPipe的空泡率可进一步表述为$ (D-2)/ (3N+D-2) $. 如表3所示为5种同步流水线方法的空泡率，结果表明BitPipe在该指标上最优. 若采用中间空泡消除策略，空泡率可进一步降至$ (D-2)/ (4N+D-2) $.

表 3   空泡率和显存占用对比

Tab.3  Comparison on bubble ratio and memory consumption

流水线方法空泡率参数显存激活值显存
GPipe[7]$ \dfrac{D-1}{N+D+1} $$ {M}_{\text{θ}} $$ {N\times M}_{\text{a}} $
DAPPLE[24]$ \dfrac{D-1}{N+D+1} $$ {M}_{\text{θ}} $$ [{{M}}_{\text{a}},{D}\times {{M}}_{\text{a}}] $
1F1B-Int[6]$ \dfrac{{D}-1}{2{N}+{D}+1} $$ {{M}}_{\text{θ}} $$ \left[\dfrac{{D}+1}{2}{{M}}_{\text{a}},{D}\times {{M}}_{\text{a}}\right] $
Chimera[29]$ \dfrac{{D}-2}{3{N}/2+{D}-2} $$ 2{{M}}_{\text{θ}} $$ \left[\dfrac{{D}+2}{2}{{M}}_{\text{a}},{D}\times {{M}}_{\text{a}}\right] $
BitPipe$ \dfrac{{D}-2}{3{N}+{D}-2} $$ 2{{M}}_{\text{θ}} $$ \left[\dfrac{{D}+3}{2}{{M}}_{\text{a}},{D}\times {{M}}_{\text{a}}\right] $

新窗口打开| 下载CSV


1.3.3. 显存开销

训练过程中的显存开销主要由模型参数和中间激活值构成. 表3对比了各方法的显存占用情况. 在参数存储方面，GPipe[7]、DAPPLE[24]与1F1B-Int等方法在每个设备上须存储与其阶段对应的1份参数，Chimera与BitPipe因包含2条流水线分支而须存储对应的2份参数. 在激活值存储方面，GPipe由于同时将$ {N} $个微批次注入流水线（为了充分利用流水线，通常$ {N}\geqslant{D} $），其激活显存随$ {N} $线性增长，不适用于大规模微批次场景. 相比之下，BitPipe及其他3种方法仅在流水线填充时存储最多$ {D} $个微批次的激活值，其显存开销与$ {D} $相关，因此在大规模扩展时更具优势.

1.4. 通信优化策略

BitPipe在流水线阶段之间采用P2P通信传递激活值与梯度（同一设备上连续阶段则通过本地显存访问）. 由于该方法采用双向结构，须通过集合通信all-reduce对梯度进行全局同步. 在隐藏维度较大的模型或节点间网络带宽受限的集群环境中，此类通信开销可能相当显著. 因此，有效重叠计算与通信对提升系统吞吐率至关重要.

1.4.1. 提前梯度同步

传统梯度同步通常在全部反向计算完成后统一执行all-reduce，易在同步过程中产生设备空闲，限制训练效率. 为此，BitPipe引入提前梯度同步策略[29]，将通信与计算过程重叠. 如图4(a)所示，若按常规方式在本地计算结束后再同步，中间阶段同步（如s6~s7与s2~s3）仅能与首尾阶段的少量计算重叠，重叠深度有限. BitPipe利用流水线调度中固有的空泡时隙提前触发all-reduce，如图4(b)所示，将s5与s8的同步前移并与后续计算并行，端到端训练时间缩短. 由于每次训练迭代仅进行一次梯度同步，因此该机制理论上在同步频率较高时收益更明显，而在采用降低同步频次策略（如梯度累积[5]）时增益相对减弱.

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4   基于流水线空泡时隙填充的提前梯度同步

Fig.4   Eager gradient synchronization by filling pipeline bubble slots


1.4.2. 设备映射

为了进一步提升通信效率，结合跨设备模型映射的相关思路[30,34]，设计适用于双向交错流水线结构的设备映射策略. 该策略总体原则：将同一流水线阶段在数据并行组内及双向流水线中的副本优先映射至同一物理节点内的设备上. 如图5所示，该设计使得重量级的梯度同步可利用节点内高速网络（如NVLink）完成，相对轻量级的激活值传递则经由节点间网络进行. 这种映射策略与BitPipe的双向交错调度方式相配合，使高开销集合通信尽量局部化、低开销P2P通信跨节点化，从而在不改变调度语义的前提下改善通信路径结构，缩短关键通信阶段的等待时间.

图 5

新窗口打开| 下载原图ZIP| 生成PPT

图 5   双向流水线的设备映射策略

Fig.5   Device mapping strategy for bidirectional pipelines


1.5. 微批次数量扩展

当每个设备在一次训练迭代中处理的微批次数量$ {N} $大于流水线深度$ {D} $时，BitPipe的调度机制具有良好的可扩展性. 具体而言，可将处理$ {D} $个微批次的BitPipe调度作为1个基本单元，通过串联$ {K}={N}/{D} $个单元来实现扩展. 如图6(b)所示为$ {N}=2{D} $（即$ {K}=2 $）时的调度情况，可见第2个单元起始处的前向计算能够填充第1个单元末尾产生的空泡，提升设备利用率. 为了进一步优化性能并消除简单串联引入的中间空泡，BitPipe给出“提前前向调度”策略. 如图6(c)所示，该策略通过重新平衡前向与反向计算的时间安排，尽可能提前调度每个设备的首次反向计算，从而移除中间空闲时隙. 在此调度下，激活值占用的峰值显存可控制在$ (\left(3{D}-3\right)/ 2){{M}}_{\text{a}} $. 该值低于Chimera采用“双前向计算”策略的$ 2{D}{{M}}_{\text{a}} $，也低于MixPipe在“最大K值”策略下的$ ((3{D}- 2)/2){{M}}_{\text{a}} $，因而能在保证高效显存使用的同时获得更高的设备利用率.

图 6

新窗口打开| 下载原图ZIP| 生成PPT

图 6   微批次数量扩展（流水线深度为4，微批次数为8）

Fig.6   Scaling to larger micro-batch number (pipeline depth is four, number of micro-batches is eight)


1.6. 阶段数量扩展

尽管增加流水线条数有助于进一步缩减空泡并均衡激活显存，但这会显著加剧参数存储开销与数据并行通信成本. BitPipe转而采用扩展单流水线内阶段数的策略作为替代方案. 具体而言，若每个设备承载$ {v} $个阶段（或模型切片），则单阶段的前向与反向计算耗时将降至约原来的$ 1/{v} $，流水线空泡也随之成比例收缩. 如图7(b)所示，随着每条流水线包含更多阶段，BitPipe可在相同小批次规模下更早完成流水线刷新过程. 该扩展方式在有效缩减空泡的同时，避免了增加流水线数量带来的额外显存与通信开销，代价是P2P通信次数随$ {v} $增加而增加，总通信量也相应上升. 基于当前典型的大模型训练配置，BitPipe默认设定$ {v}=2 $，即在每个设备上部署2个阶段，构成2条V形交错流水线. 可以预期，在面对未来更大规模模型与更高流水线并行度需求时，采用$ {v}>2 $的配置将进一步释放性能潜力.

图 7

新窗口打开| 下载原图ZIP| 生成PPT

图 7   流水线阶段数量扩展（流水线深度为4）

Fig.7   Scaling to larger pipeline stage numbers (pipeline depth is four)


2. 实　验

2.1. 实验设置

2.1.1. 硬件环境

实验在最多包含32张NVIDIA A800 80 GB GPU的集群上进行. 节点间通过InfiniBand互联（带宽200 Gbps），节点内GPU则通过NVLink提供400 GB/s高速连接.

2.1.2. 模型和数据集

实验模型基于经典的Transformer架构[35]，选取BERT[36]和GPT-3[37]的2个代表性变体进行评测，具体模型配置如表4所示. BERT类模型使用WikiPedia数据集[36]进行训练，GPT类模型则使用OpenWebText数据集[38]. 数据预处理流程与广泛采用的Megatron-LM项目[10]保持一致，以确保对比的公平性与可复现性.

表 4   用于评估的基准模型

Tab.4  Benchmark models used for evaluation

模型层数注意力头数隐藏维大小序列长度
BERT-64 (5B)64642560512
GPT-96 (11B)963230721024

新窗口打开| 下载CSV


2.1.3. 基线方法与实现

为了全面评估性能，将BitPipe与4种主流的同步流水线并行方法进行对比：1) 基于1F1B调度的DAPPLE[24]，2) 采用交错式调度的1F1B-Int[6]，3) 采用双向流水线架构的Chimera[29]，4) 采用新型设备映射策略的双向流水线方法MixPipe[30]. BitPipe的实现基于Megatron-LM开源架构，重构了流水线调度器以支持双向交错策略. 所有对比方法均基于PyTorch实现，统一使用NCCL后端进行分布式通信，严格保持全局批大小、梯度累积、混合精度策略、优化器与学习率等设定一致，以确保实验的公平性.

2.1.4. 评测指标

由于BitPipe与所有基线方法均属于同步流水线并行范畴，评测主要比较显存占用和训练吞吐率. 显存占用主要关注训练过程中的峰值显存消耗及设备间的显存使用均衡性，吞吐率T以每秒处理的训练样本数（sample/s）来衡量，是评估训练效率的核心指标.

2.1.5. 流程和参数设定

在8、16及32 GPU规模下，分别评估纯流水线并行性能以及与数据并行结合后的扩展性. 对每种配置均运行20次迭代，取最后2次迭代的平均运行时间作为结果，以避免流水线预热阶段的影响，反映稳定阶段的性能表现[7-8,39]. 设计消融实验与超参数研究，深入分析BitPipe各关键组件的贡献及其对不同超参数配置的敏感性.

2.2. 实验结果
2.2.1. 流水线并行性能

为了独立评估流水线并行策略的性能，固定数据并行规模$ {W}=1 $和流水线并行深度$ {D} $=8. 训练BERT-64和GPT-96时的微批次大小分别设为4和1，以充分利用GPU显存. 通过调整每个设备在一次迭代中处理的微批次数量$ N $（由$ D $增至$ 2D $和$ 4D $）改变全局小批次规模. 对应地，BERT-64的全局小批次大小从32增至64和128，GPT-96由从8增至16和32.

如图8所示为8 GPU条件下仅采用流水线并行训练时的显存占用分布，其中$ \hat{B} $为全局小批次大小，M为显存使用量. 可以观察到：1) 1F1B-Int和DAPPLE的显存分布最不均衡，这主要是由于其在流水线填充时期向不同设备注入的微批次数量不同，使负责首阶段的设备承担了更高的激活值显存开销. 2) BitPipe的平均显存占用略高（须缓存两份参数副本及最多$ D $个微批次的激活值），但设备间显存分布更加集中和均衡，与1.3.3节的理论分析一致.

图 8

新窗口打开| 下载原图ZIP| 生成PPT

图 8   流水线并行下的显存占用分布 (8 GPU)

Fig.8   Memory footprint distribution under pipeline parallelism (8 GPU)


如图9(a)和图9(b)分别为4种流水线并行方法在不同配置下的吞吐率性能，其中T为吞吐率. 可以观察到：1) BitPipe在各实验配置下均表现优于基线方法，这可能得益于其更低的流水线空泡率. 在BERT-64上，BitPipe相比于DAPPLE、1F1B-Int和Chimera的平均加速比分别为1.27×、1.12×和1.09×；在GPT-96上，相应的平均加速比分别为1.15×、1.03×和1.09×. 2) 当全局小批次增大时，BitPipe的性能优势收窄，这可能是更大的小批次增加了节点间P2P通信，BitPipe在此方面的开销相对基线方法更高.

图 9

新窗口打开| 下载原图ZIP| 生成PPT

图 9   流水线并行和流水线-数据并行方法的吞吐率比较

Fig.9   Throughput comparison of pipeline parallelism and pipeline-data parallelism methods


2.2.2. 并行扩展性

为了评估BitPipe与数据并行结合后的可扩展性，在保持每个设备计算负载不变的前提下，将总设备数从8逐步扩展到16和32. 对于每种GPU规模，通过网格搜索参数空间($ W,D,B) $确定最优配置. 默认情况下，设置每个设备处理的微批次数量$ N $等于流水线深度$ D $. 如表5所示为参数搜索空间及最终确定的配置，其中E和G分别表示BERT-64和GPT-96，A、I、M、B分别指代DAPPLE、1F1B-Int、MixPipe和BitPipe.

表 5   参数搜索空间及其最终选择

Tab.5  Search space of parameters and their final choices

模型参数备选值8 GPU16 GPU32 GPU
AIMBAIMBAIMB
E$ W ${1, 2, 4, 8}221144444844
$ D ${4, 8, 16}448844448488
$ B ${1, 2, 4, 8}444444442244
G$ W ${1, 2, 4}111122224444
$ D ${8, 16}888888888888
$ B ${1, 2}111111111111

新窗口打开| 下载CSV


如图10所示为32 GPU条件下流水线并行结合数据并行训练时的显存占用分布. 可以观察到：1) DAPPLE的显存不均衡问题依然存在，与8 GPU情况一致. 1F1B-Int的显存分布更为集中，但峰值显存因微批次大小$ B $增大而显著上升，更易导致显存溢出. 2) BitPipe的峰值显存与当前先进方法相当，同时在所有设备间保持了更均衡的显存分布. 图9(c)和图9(d)分别为4种方法在不同扩展规模下的吞吐率性能. 可以观察到：1) BitPipe在所有扩展规模下均显著优于所有基线. 在BERT-64上，相比于DAPPLE、1F1B-Int和MixPipe的平均加速比分别为1.28×、1.13×和1.06×；在GPT-96上，相应的加速比分别为1.27×、1.15×和1.05×. 2) 在多节点场景下（32 GPU），BitPipe的吞吐率增长出现一定下降，这可能源于跨节点环境下，2个模型副本间的同步开销以及因更细粒度阶段划分而增加的通信负担.

图 10

新窗口打开| 下载原图ZIP| 生成PPT

图 10   流水线-数据并行下的显存占用分布(32 GPU)

Fig.10   Memory footprint distribution under pipeline-data parallelism (32 GPU)


2.2.3. 显存-吞吐率权衡分析

BitPipe的主要收益来源于以适度增加参数显存占用换取吞吐率提升，该方法更适用于计算密集或通信受限的训练场景. 当单阶段参数规模$ {M}_{\text{θ}} $相对于设备总显存较小时，双副本参数带来的额外开销可控，空泡压缩与调度重叠收益占主导，性能提升更为稳定；当参数规模过大导致接近显存上限时，额外副本可能压缩微批次规模甚至引发显存约束，从而抵消部分吞吐率增益，此时方法适用性相对受限.

2.2.4. 消融实验

为了验证V形交错划分、提前梯度同步及设备映射的有效性，将完整的BitPipe与以下3种变体进行对比. 1） w/o V：移除V形交错划分，改用1F1B-Int的循环划分方式. 2） w/o E：移除提前梯度同步，改为计算完成后统一同步. 3） w/o M：移除设备映射优化，采用顺序映射方式. 实验在2台各配备8张A800 GPU的服务器上开展，如表6所示为在BERT-64模型上的对比结果(最优加粗，次优下划线). 可以观察到：1) 完整BitPipe在各配置下均取得最优性能，说明上述3项机制均带来有效增益；2) 在单节点设置中（$ D<16 $），w/o V普遍优于w/o E，表明提前梯度同步在当前配置下对通信开销隐藏的贡献更为直接；3）设备映射在单节点NVLink互联下无影响，但在跨节点InfiniBand互联时取消该机制会导致性能明显下降；4）当同步频率较高（$ N=D $）时提前同步收益更明显，而在采用梯度累积（$ N=4D $）时其影响相对减弱，与1.4.1节的理论分析一致.

表 6   模块消融实验结果

Tab.6  Results of module ablation study

$ D $$ \hat{B} $T/（sample·s−1）
w/o Vw/o Ew/o MBitPipe
41619.4818.8219.5819.58
46424.1924.1124.2824.28
83238.7838.3239.1739.17
812846.2946.0546.4346.43
166449.2149.0948.5650.67
1625655.9657.0555.2357.44

新窗口打开| 下载CSV


2.2.5. 超参数研究

为了研究流水线深度与微批次大小对BitPipe性能的影响，在32 GPU环境下对BERT-64进行超参数实验，固定$ \hat{B} $=128，实验结果如图11所示. 可以观察到：1) 流水线深度$ D $对BitPipe的性能至关重要，直接决定通信模式. $ D $过大或过小都可能破坏BitPipe预设的高效设备映射机制，导致本应在高速NVLink上进行的重量级梯度同步，部分转移到相对低速的InfiniBand网络，造成吞吐率显著下降. 2) BitPipe的性能对微批次大小$ B $同样敏感，吞吐率随$ B $的增大而提升. 这表明，在显存和通信带宽允许的情况下，应尽可能使用更大的微批次以获取更高的训练效率.

图 11

新窗口打开| 下载原图ZIP| 生成PPT

图 11   超参数研究结果

Fig.11   Hyperparameter study results


3. 结　语

本研究针对同步流水线并行训练中空泡缩减与通信开销之间的权衡问题，提出双向交错流水线并行方法BitPipe. 在统一调度框架下协同融合双向流水线与交错流水线，通过双向执行结构提升设备并发度，结合V形交错式模型划分、设备映射与提前梯度同步等策略，在提高并行效率的同时有效控制通信开销，实现计算与通信的协同优化. 实验结果表明，在纯流水线并行及混合并行设置下，BitPipe相较于现有同步流水线方法在GPT和BERT类模型训练中均获得稳定的吞吐率提升，在性能与显存开销之间保持良好平衡，为大规模模型训练提供了高效可行的并行方案. 未来工作将从两个方面拓展：结合梯度量化[10-11]和通信稀疏化[12]技术，进一步降低集合通信与细粒度调度带来的通信开销；引入激活重计算[14-15]与零冗余优化器[40]缓解显存压力，以支持更大规模模型场景下的高效流水线并行训练.

参考文献

FARKAS A, KERTÉSZ G, LOVAS R. Parallel and distributed training of deep neural networks: a brief overview [C]// Proceedings of the IEEE 24th International Conference on Intelligent Engineering Systems. Reykjavík: IEEE, 2020: 165–170.

[本文引用: 1]

VERBRAEKEN J, WOLTING M, KATZY J, et al

A survey on distributed machine learning

[J]. ACM Computing Surveys, 2021, 53 (2): 1- 33

卢凯, 赖志权, 李笙维, 等

并行智能训练技术: 挑战与发展

[J]. 中国科学: 信息科学, 2023, 53 (8): 1441- 1468

DOI:10.1360/SSI-2023-0051      [本文引用: 1]

LU Kai, LAI Zhiquan, LI Shengwei, et al

Parallel intelligent computing: development and challenges

[J]. Scientia Sinica: Informationis, 2023, 53 (8): 1441- 1468

DOI:10.1360/SSI-2023-0051      [本文引用: 1]

LI M, ANDERSEN D G, SMOLA A, et al. Communication efficient distributed machine learning with the parameter server [C]// Proceeding of the 28th International Conference on Neural Information Processing Systems: Volume 1. Cambridge: MIT Press, 2014: 19–27.

[本文引用: 1]

LI S, ZHAO Y, VARMA R, et al. PyTorch distributed: experiences on accelerating data parallel training [EB/OL]. (2022−06−28)[2025−12−09]. https://arxiv.org/pdf/2006.15704.

[本文引用: 2]

NARAYANAN D, SHOEYBI M, CASPER J, et al. Efficient large-scale language model training on GPU clusters using megatron-LM [C]// Proceedings of the SC21: International Conference for High Performance Computing, Networking, Storage and Analysis. St. Louis: IEEE, 2022: 1–14.

[本文引用: 7]

HUANG Y, CHENG Y, BAPNA A, et al. GPipe: efficient training of giant neural networks using pipeline parallelism [EB/OL]. (2019−07−25)[2025−12−09]. https://arxiv.org/pdf/1811.06965.

[本文引用: 5]

NARAYANAN D, HARLAP A, PHANISHAYEE A, et al. PipeDream: generalized pipeline parallelism for DNN training [C]// Proceedings of the 27th ACM Symposium on Operating Systems Principles. Huntsville: ACM, 2019: 1–15.

[本文引用: 1]

KIM T, KIM H, YU G I, et al. BPIPE: memory-balanced pipeline parallelism for training large language models [C]// Proceedings of the 40th International Conference on Machine Learning. Honolulu: PMLR, 2023: 16639–16653.

[本文引用: 1]

ALISTARH D, GRUBIC D, LI J, et al. QSGD: communication-efficient SGD via gradient quantization and encoding [C]// Proceedings of the 31th Conference on Neural Information Processing Systems. Long Beach: [s.n.], 2017: 1–12.

[本文引用: 3]

GUO J, WU J, WANG Z, et al. Compressing large language models by joint sparsification and quantization [C]// Proceedings of the International Conference on Machine Learning. Vienna: PMLR, 2024: 1–13.

[本文引用: 2]

RENGGLI C, ASHKBOOS S, AGHAGOLZADEH M, et al. SparCML: high-performance sparse communication for machine learning [C]// Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis. Denver: ACM, 2019: 1–15.

[本文引用: 2]

陈世达, 刘强, 韩亮

降低分布式训练通信的梯度稀疏压缩方法

[J]. 浙江大学学报: 工学版, 2021, 55 (2): 386- 394

DOI:10.3785/j.issn.1008-973X.2021.02.019      [本文引用: 1]

CHEN Shida, LIU Qiang, HAN Liang

Gradient sparsification compression approach to reducing communication in distributed training

[J]. Journal of Zhejiang University: Engineering Science, 2021, 55 (2): 386- 394

DOI:10.3785/j.issn.1008-973X.2021.02.019      [本文引用: 1]

CHEN T, XU B, ZHANG C, et al. Training deep nets with sublinear memory cost [EB/OL]. (2016−04−22)[2025−12−09]. https://arxiv.org/pdf/1604.06174.

[本文引用: 2]

BEAUMONT O, EYRAUD-DUBOIS L, SHILOVA A. Efficient combination of rematerialization and offloading for training DNNs [C]// Proceeding of the 35th International Conference on Neural Information Processing Systems. [S.l.]: Curran Associates Inc., 2021, 34: 23844–23857.

[本文引用: 2]

SHOEYBI M, PATWARY M, PURI R, et al. Megatron-LM: training multi-billion parameter language models using model parallelism [EB/OL]. (2020−03−13)[2025−12−09]. https://arxiv.org/pdf/1909.08053.

[本文引用: 1]

RASLEY J, RAJBHANDARI S, RUWASE O, et al. DeepSpeed: system optimizations enable training deep learning models with over 100 billion parameters [C]// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. [S.l.]: ACM, 2020: 3505–3506.

[本文引用: 1]

LANGER M, HE Z, RAHAYU W, et al

Distributed training of deep learning models: a taxonomic perspective

[J]. IEEE Transactions on Parallel and Distributed Systems, 2020, 31 (12): 2802- 2818

DOI:10.1109/TPDS.2020.3003307      [本文引用: 1]

GUAN L, LI D S, LIANG J Y, et al

Advances of pipeline model parallelism for deep learning training: an overview

[J]. Journal of Computer Science and Technology, 2024, 39 (3): 567- 584

DOI:10.1007/s11390-024-3872-3     

张贵鹏, 孙毓忠

大模型训练的混合并行技术综述

[J]. 计算机学报, 2026, 49 (1): 109- 131

DOI:10.11897/SP.J.1016.2026.00109      [本文引用: 1]

ZHANG Guipeng, SUN Yuzhong

A survey on hybrid parallelism techniques for large model training

[J]. Chinese Journal of Computers, 2026, 49 (1): 109- 131

DOI:10.11897/SP.J.1016.2026.00109      [本文引用: 1]

YANG B, ZHANG J, LI J, et al. PipeMare: asynchronous pipeline parallel DNN training [C]// Proceedings of the 4th Machine Learning and Systems Conference. San Jose: PMLR, 2021, 3: 269–296.

[本文引用: 1]

NARAYANAN D, PHANISHAYEE A, SHI K, et al. Memory-efficient pipeline-parallel DNN training [C]// Proceedings of the 38th International Conference on Machine Learning. [S.l.]: PMLR, 2021: 7937–7947.

[本文引用: 1]

AJANTHAN T, RAMASINGHE S, ZUO Y, et al. Nesterov method for asynchronous pipeline parallel optimization [C]// Proceedings of the 42nd International Conference on Machine Learning. Vancouver: PMLR, 2025: 909–924.

[本文引用: 1]

FAN S, RONG Y, MENG C, et al. DAPPLE: a pipelined data parallel approach for training large models [C]// Proceedings of the 26th ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming. [S.l.]: ACM, 2021: 431–445.

[本文引用: 5]

LAMY-POIRIER J. Breadth-first pipeline parallelism [C]// Proceedings of the 6th Machine Learning and Systems Conference. Miami: PMLR, 2023, 5: 48–67.

[本文引用: 1]

LIU Z, CHENG S, ZHOU H, et al. Hanayo: harnessing wave-like pipeline parallelism for enhanced large model training efficiency [C]// Proceedings of the SC23: International Conference for High Performance Computing, Networking, Storage and Analysis. Denver: IEEE, 2024: 1–13.

QI P, WAN X, HUANG G, et al. Zero bubble (almost) pipeline parallelism [C]// Proceedings of the International Conference on Learning Representations. Vienna: ICLR, 2024: 1–16.

[本文引用: 2]

JAIN A, AHMAD AWAN A, ALJUHANI A M, et al. GEMS: GPU-enabled memory-aware model-parallelism system for distributed DNN training [C]// Proceedings of the SC20: International Conference for High Performance Computing, Networking, Storage and Analysis. Atlanta: IEEE, 2021: 1–15.

[本文引用: 1]

LI S, HOEFLER T. Chimera: efficiently training large-scale neural networks with bidirectional pipelines [C]// Proceedings of the SC21: International Conference for High Performance Computing, Networking, Storage and Analysis. St. Louis: IEEE, 2022: 1–14.

[本文引用: 7]

ZHANG W, ZHOU B, TANG X, et al. MixPipe: efficient bidirectional pipeline parallelism for training large-scale models [C]// Proceedings of the 60th ACM/IEEE Design Automation Conference. San Francisco: IEEE, 2023: 1–6.

[本文引用: 7]

LIN J, LIU Z, YOU Y, et al. WeiPipe: weight pipeline parallelism for communication-effective long-context large model training [C]// Proceedings of the 30th ACM SIGPLAN Annual Symposium on Principles and Practice of Parallel Programming. Las Vegas: ACM, 2025: 225–238.

[本文引用: 1]

WU H, CHEN L. TawPipe: topology-aware weight pipeline parallelism for accelerating long-context large models training [C]// Proceedings of the AAAI Conference on Artificial Intelligence. Singapore: AAAI, 2026, 40(32): 26894–26902.

[本文引用: 1]

赵海燕, 易庆奥, 汤敬华, 等

分布式模型训练中的通信优化方法: 现状及展望

[J]. 小型微型计算机系统, 2024, 45 (12): 2964- 2978

DOI:10.20009/j.cnki.21-1106/TP.2024-0123      [本文引用: 1]

ZHAO Haiyan, YI Qing’ao, TANG Jinghua, et al

Communication optimization in distributed model training: current research and prospects

[J]. Journal of Chinese Computer Systems, 2024, 45 (12): 2964- 2978

DOI:10.20009/j.cnki.21-1106/TP.2024-0123      [本文引用: 1]

LIU W, LU K, LAI Z, et al

AutoPipe-H: a heterogeneity-aware data-paralleled pipeline approach on commodity GPU servers

[J]. IEEE Transactions on Computers, 2025, 74 (4): 1196- 1209

DOI:10.1109/TC.2024.3517748      [本文引用: 1]

VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need [C]// 31st Conference on Neural Information Processing Systems. Long Beach: Curran Associates Inc., 2017: 1–11.

[本文引用: 1]

DEVLIN J, CHANG M W, LEE K, et al. BERT: pre-training of deep bidirectional transformers for language understanding [C]// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Minneapolis: ACL, 2019: 4171–4186.

[本文引用: 2]

BROWN T B, MANN B, RYDER N, et al. Language models are few-shot learners [C]// Proceedings of the 34th International Conference on Neural Information Processing Systems. [S.l.]: Curran Associates Inc., 2020, 33: 1877–1901.

[本文引用: 1]

PETERSON J, MEYLAN S, BOURGIN D. Open clone of OpenAI’s unreleased webtext dataset scraper [EB/OL]. (2020−08−15)[2025−12−09]. https://github.com/jcpeterson/openwebtext.

[本文引用: 1]

SUN Z, CAO H, WANG Y, et al. AdaPipe: optimizing pipeline parallelism with adaptive recomputation and partitioning [C]// Proceedings of the 29th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 3. La Jolla: ACM, 2024: 86–100.

[本文引用: 1]

RAJBHANDARI S, RASLEY J, RUWASE O, et al. ZeRO: memory optimizations toward training trillion parameter models [C]// Proceedings of the SC20: International Conference for High Performance Computing, Networking, Storage and Analysis. Atlanta: IEEE, 2020: 1–16.

[本文引用: 1]

/

〈 〉