基于动态任务迁移的近数据处理方法
|
|
华幸成,刘鹏
|
Near-data processing based on dynamic task offloading
|
|
Xing-cheng HUA,Peng LIU
|
|
| 表 1 MapReduce框架的应用程序编程接口(API) |
| Tab.1 Application program interface (API) functions of MapReduce framework |
|
| 函数 | 功能描述 | | 高层API | split | 对输入数据进行分片 | | shuffle | 将Map任务的输出数据地址传递给Reduce任务 | | map | 用户定义的Map方法 | | reduce | 用户定义的Reduce方法 | | map_worker | 调用NDP单元,执行用户定义的Map方法 | | reduce_worker | 调用NDP单元,执行用户定义的Reduce方法 | | 底层API | offload_kernel | 将计算核写入NDP单元 | | offload_data | 将数据传递给NDP单元 | | start_computation | 启动计算任务 | | wait_for_completion | 等待计算任务完成 | | write_reg | 向NDP单元的寄存器写入数据 | | read_reg | 从NDP单元的寄存器读取数据 |
|
|
|