|
華中科技大學
搜 索
高等教育領域數(shù)字化綜合服務平臺
搜 索
華中科技大學
教育部
- 74 高校采購信息
- 3295 科技成果項目
- 0 創(chuàng)新創(chuàng)業(yè)項目
- 0 高校項目需求
一種數(shù)據去重過程中的并行分塊方法與系統(tǒng)
2021-04-14 00:00:00
云上高博會
http://www.502d.xyz
關鍵詞：
數(shù)據去重
所屬領域:
項目成果/簡介:
本發(fā)明公開了一種數(shù)據去重過程中的并行分塊方法，其特征在
于，包括：(1)將數(shù)據流中的文件分成多個定長的數(shù)據段，所述數(shù)據段
的長度大于數(shù)據分塊的最大塊長；(2)利用計算機多核處理器并行對每
個數(shù)據段進行分塊，每個數(shù)據段都通過分塊獲得多個數(shù)據塊；(3)將最
后一個數(shù)據段除外的每個數(shù)據段的最后一個數(shù)據塊與后一個數(shù)據段的
第一個數(shù)據塊進行邊界銜接處理。本發(fā)明提出的并行分塊方法，采用
一種新穎的邊界銜接方法解決了傳統(tǒng)分塊方法的
項目階段:
掃碼關注，查看更多科技成果
取消
確定