数据去重与缩减技术的系统分类与性能分析

奎晓燕,张敏,肖伶,李钦松,陈立明,张文生,邹北骥

Systematic classification and performance analysis of data deduplication and reduction techniques

Xiaoyan KUI,Min ZHANG,Ling XIAO,Qinsong LI,Liming CHEN,Wensheng ZHANG,Beiji ZOU

表 3 基于数据去重率的方案比较

Tab.3 Comparison of schemes based on deduplication rate

方案 关键点 优点 缺点 Jingwei[50] 实现高效自适应的数据去重系统迁移 提高存储空间利用率，促进服务适应性 较高的计算成本和复杂性，依赖数据块分析和参数调整 DLDAFE[51] 双层去重提升率，兼顾性能与块效应 动态分块组合降低开销，平衡性能与时间，减弱硬分块影响 复杂度增加，须调参数，第二层精确删除在大数据量下成瓶颈 Light-Dedup[52] 哈希比对结合，优化I/O实现快速块去重 提升I/O性能并节省存储开销，提高数据去重效率 内存使用依赖服务器环境，伴随额外索引开销 FSDedup[53] 纠错码辅助去重，指纹识别相似数据，消除高引用冗余 减少相似比较读取开销，消除更多冗余数据 依赖工作负载局部性，伴随额外计算开销 imDedup[54] I/O路径去重提升云主存储系统性能 降低延迟影响，灵活阈值设置，优化内存缓存使用 动态缓存调整复杂，依赖工作负载特性