基于双向自举蒸馏的异质云-端医疗对话联邦

刘宇鹏,林明豪,张江,姚登举

Heterogeneous cloud-end medical dialogue federation based on bi-directional bootstrapping distillation

Yupeng LIU,Minghao LIN,Jiang ZHANG,Dengju YAO

表 4 不同模型参数对模型性能的影响

Tab.4 Effects of different model parameters on model performance

模型 层数 隐藏层维度 np/106 BLEU GPT-2-small 12 768 117 16.75 GPT-2 24 1024 345 19.91 GPT-2-large 36 1280 762 20.62 GPT-2-max 48 1600 1542 22.03