基于并行计算的计算智能综述

吴菲,陈嘉诚,王万良

Review on computational intelligence based on parallel computing

Fei WU,Jiacheng CHEN,Wanliang WANG

表 1 并行深度学习框架

Tab.1 Frameworks for parallel deep learning

框架 并行性 接口 开源 随机梯度下降 预训练模型 DeepLearnning4J[18] 数据 Java、Scala 是 同步 CNN、RNN、 LSTM、DBN、SAE H2O Deep Water[19] 数据 — 是 — — CaffeOnSpark[20] 数据和模型 Scala and Python 是 同步 DNN、LSTM TensorFlow on Spark 数据 Python 是 异步 CNN、DNN for MNIST Spark ONE[21] 数据 Scala 否 同步和异步 — DeepSpark[22] 数据 Scala 否 异步和弹性平均梯度下降 — SparkNET[23] 数据 Scala and Java 是 在第N次迭代中同步 TensorFlow and Caffe DeepDist[24] 数据 Python 是 同步 Word to Vector DistDL[25] 数据和模型 — 否 — — SparkML[26] 数据 Scala、Java and Python 否 同步, L-BFGS CNN