用于图像分类的卷积神经网络中激活函数的设计

王红霞,周家奇,辜承昊,林泓

Design of activation function in CNN for image classification

Hong-xia WANG,Jia-qi ZHOU,Cheng-hao GU,Hong LIN

表 5 MNIST和PI100上不同学习率下的收敛情况对比

Tab.5 Comparison of convergence conditions under different learning rates on MNIST and PI100

学习率 MNIST收敛情况 PI100收敛情况 relu-softplus relu-softsign relu-softplus relu-softsign 0.000 1 成功收敛，分类准确率为98% 成功收敛，分类准确率为98% 成功收敛，分类准确率为99% 成功收敛，分类准确率为99% 0.001 成功收敛，分类准确率为98% 成功收敛，分类准确率为98% 第10轮开始不收敛 成功收敛，分类准确率为99% 0.01 第2轮开始不收敛 第2轮开始不收敛 第4轮开始不收敛 成功收敛，分类准确率为85% 0.1 第1轮开始不收敛 第1轮开始不收敛 第2轮开始不收敛 第3轮开始不收敛