基于并行计算的计算智能综述

吴菲,陈嘉诚,王万良

Review on computational intelligence based on parallel computing

Fei WU,Jiacheng CHEN,Wanliang WANG

表 2 大数据并行框架的性能对比

Tab.2 Performance comparison of big data parallelization frameworks

框架 数据处理 数据流 计算模型 计算速度 支持语言 内存缓存 硬件要求 迭代处理 Hadoop 批处理 线性数据流 面向批次 低 Java、C++、C、Python、Perl、Groovy、Ruby 无 低 无 Spark 批处理+流处理 循环数据流 微批次处理 中 Java、Python、R、Scala 有 高 有 Flink 批处理+流处理 循环数据流 连续流模型 高 Java、Python、R、Scala 有 高 有