一種并行重復(fù)數(shù)據(jù)刪除方法和系統(tǒng)
本發(fā)明公開了一種并行重復(fù)數(shù)據(jù)刪除方法,包括以下步驟:客 戶端先對要重刪的數(shù)據(jù)進行分塊,然后通過哈希函數(shù)計算出每個分塊 的哈希指紋,然后把哈希指紋發(fā)送到不同的重刪服務(wù)器節(jié)點上進行指 紋的查重工作。如果某個指紋經(jīng)過對比,確認是重復(fù)的指紋,則只用 更新查詢服務(wù)器上元數(shù)據(jù)和重刪服務(wù)器節(jié)點上的指紋計數(shù)器。如果某 個指紋經(jīng)過對比,確認是一個新的數(shù)據(jù)塊,則傳輸該數(shù)據(jù)塊到重刪服 務(wù)器并且更新指紋庫和查詢服務(wù)器上的元數(shù)據(jù)。本發(fā)明具重刪
華中科技大學(xué)
2021-04-14