加速大模型训练的双向交错流水线并行方法

吴厚明,陈岭

Bidirectional interleaved pipeline parallelism for accelerating large model training

Houming WU,Ling CHEN

表 4 用于评估的基准模型

Tab.4 Benchmark models used for evaluation

模型 层数 注意力头数 隐藏维大小 序列长度 BERT-64 (5B) 64 64 2560 512 GPT-96 (11B) 96 32 3072 1024