異構(gòu)數(shù)據(jù)的數(shù)據(jù)清理,側(cè)重于重復(fù)記錄,異常數(shù)值的探測(cè),有效地發(fā)現(xiàn)數(shù)據(jù)源中的重復(fù)記錄、異常等,筆者通過(guò)增加過(guò)濾條件的方法提高了字符串匹配算法的效率,加快了重復(fù)記錄的識(shí)別,另外在刷新數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)提出了增量式算法,有效地減少了比較的次數(shù),節(jié)省了大量時(shí)間并確保數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的質(zhì)量.文章實(shí)現(xiàn)了一個(gè)數(shù)據(jù)清理工具原型-DMCleaner,并用其進(jìn)行了試驗(yàn),結(jié)果表明采用了這些改進(jìn)以后,數(shù)據(jù)清理的速度、效率和正確性都有了很大的提高,數(shù)據(jù)質(zhì)量得到了保證.