[00003219]一种相同数据块的自适应识别方法
技术详细介绍
本发明提出了一种相同数据块的自适应识别方法，包括：初始采样比率值，数据块字节，数据块内容，采样数据块中的内容，并对其进行混杂操作，得出其哈希值。根据哈希值，进行哈希表或者查找树的查询操作，找出有相同的哈希值的数据块，然后进行全内容比较，进一步确认相同性。如果最终确认两者其实不相同，那么这两个数据块构成一次哈希冲撞。每一个时间段统计这段时间以内的哈希冲撞率，并根据此冲撞率自适应调整采样值HS。由于采样率越低，哈希计算越快，本发明够在一批数据集上自适应到达一个最优化的采样值，进而到达一个最快的相同数据识别速度。本发明提出的算法可以大幅度提升去冗系统在寻找冗余数据时候的效率。
