基于动态任务迁移的近数据处理方法
|
华幸成,刘鹏
|
Near-data processing based on dynamic task offloading
|
Xing-cheng HUA,Peng LIU
|
|
表 1 MapReduce框架的应用程序编程接口(API) |
Tab.1 Application program interface (API) functions of MapReduce framework |
|
函数 | 功能描述 | 高层API | split | 对输入数据进行分片 | shuffle | 将Map任务的输出数据地址传递给Reduce任务 | map | 用户定义的Map方法 | reduce | 用户定义的Reduce方法 | map_worker | 调用NDP单元,执行用户定义的Map方法 | reduce_worker | 调用NDP单元,执行用户定义的Reduce方法 | 底层API | offload_kernel | 将计算核写入NDP单元 | offload_data | 将数据传递给NDP单元 | start_computation | 启动计算任务 | wait_for_completion | 等待计算任务完成 | write_reg | 向NDP单元的寄存器写入数据 | read_reg | 从NDP单元的寄存器读取数据 |
|
|
|