[00092199]数据冗余识别方法
技术详细介绍
一种数据冗余识别方法，包括：在待计算数据内容的字节序列中确定窗口长度；确定并行计算的窗口数及跳转间隔；根据已算得的窗口指纹值并行计算各窗口的指纹值；标记窗口指纹值符合预定的数据分块边界条件的窗口位置为数据分块边界；计算数据分块的散列值，并标记数据分块的散列值与已存储的数据分块散列值相等的为冗余数据块。该数据冗余识别方法通过并行窗口同时计算多个窗口的指纹值并与预定的分块条件和冗余条件进行比对以确定数据分块边界和冗余数据块，识别速率高、可适应高速大容量存储、高带宽数据传输的要求。
