加速大模型训练的双向交错流水线并行方法
吴厚明,陈岭
Bidirectional interleaved pipeline parallelism for accelerating large model training
Houming WU,Ling CHEN
表 5
参数搜索空间及其最终选择
Tab.5
Search space of parameters and their final choices
模型
参数
备选值
8 GPU
16 GPU
32 GPU
A
I
M
B
A
I
M
B
A
I
M
B
E
$ W $
{1, 2, 4, 8}
2
2
1
1
4
4
4
4
4
8
4
4
$ D $
{4, 8, 16}
4
4
8
8
4
4
4
4
8
4
8
8
$ B $
{1, 2, 4, 8}
4
4
4
4
4
4
4
4
2
2
4
4
G
$ W $
{1, 2, 4}
1
1
1
1
2
2
2
2
4
4
4
4
$ D $
{8, 16}
8
8
8
8
8
8
8
8
8
8
8
8
$ B $
{1, 2}
1
1
1
1
1
1
1
1
1
1
1
1