加速大模型训练的双向交错流水线并行方法
吴厚明,陈岭
Bidirectional interleaved pipeline parallelism for accelerating large model training
Houming WU,Ling CHEN
表 1
关键符号及含义
Tab.1
Key notations and definitions
符号
含义
符号
含义
$ D $
流水线深度
$ N $
小批次中的微批次数量
$ W $
数据并行维度
$ \hat{B} $
小批次大小（
$ \hat{B}=BNW $
）
$ P $
设备总数（
$ P=WD $
）
$ {M}_{\text{θ}} $
单个流水线阶段的权重显存占用
$ B $
微批次大小
$ {M}_{\text{a}} $
单个微批次的激活值显存占用