加速大模型训练的双向交错流水线并行方法

吴厚明,陈岭

Bidirectional interleaved pipeline parallelism for accelerating large model training

Houming WU,Ling CHEN

表 2 同步流水线并行方法机制对比（微批次数不小于流水线深度）

Tab.2 Mechanism comparison of synchronous pipeline parallelism methods (number of micro-batches not less than pipeline depth)

流水线方法 模型划分 调度范式 设备映射 同步时机 关键约束 GPipe[7] 顺序 单向 顺序 计算后 无 DAPPLE[24] 顺序 单向 顺序 计算后 无 1F1B-Int[6] 循环 单向交错 顺序 计算后 无 Chimera[29] 顺序 双向 顺序 提前同步 $ D $为偶数 MixPipe[30] 顺序 双向 跨节点优化 提前同步 $ D $为偶数 BitPipe V形 双向交错 跨节点优化 提前同步 $ D $为偶数