用于图像分类的卷积神经网络中激活函数的设计

王红霞,周家奇,辜承昊,林泓

Design of activation function in CNN for image classification

Hong-xia WANG,Jia-qi ZHOU,Cheng-hao GU,Hong LIN

表 6 CIFAR-100和Caltech256上不同学习率下的收敛情况对比

Tab.6 Comparison of convergence conditions under different learning rates on CIFAR-100 and Caltech256

学习率 CIFAR-100收敛情况 Caltech256收敛情况 relu-softplus relu-softsign relu-softplus relu-softsign 0.000 1 成功收敛，分类准确率为75% 成功收敛，分类准确率为78% 成功收敛，分类准确率为77% 成功收敛，分类准确率为79% 0.001 第40轮开始不收敛 成功收敛，分类准确率为76% 第10轮开始不收敛 成功收敛，分类准确率为79% 0.01 第4轮开始不收敛 成功收敛，分类准确率为72% 第2轮开始不收敛 成功收敛，分类准确率为75% 0.1 第4轮开始不收敛 第3轮开始不收敛 第2轮开始不收敛 第20轮开始不收敛