物聯(lián)網(wǎng)海量不均衡數(shù)據(jù)組內(nèi)方差SNM清洗算法

打開文本圖片集

摘  要： 由于物聯(lián)網(wǎng)數(shù)據(jù)通常是不均衡的，導(dǎo)致采集的數(shù)據(jù)集中各個(gè)類別的樣本數(shù)量差異很大，無法準(zhǔn)確反映其內(nèi)部的方差情況，使得數(shù)據(jù)文本相似度較高，為此，提出物聯(lián)網(wǎng)海量不均衡數(shù)據(jù)組內(nèi)方差SNM清洗算法。使用網(wǎng)絡(luò)爬蟲技術(shù)爬取海量不均衡數(shù)據(jù)，對(duì)不平衡數(shù)據(jù)字段過濾處理，設(shè)計(jì)可伸縮滑動(dòng)窗口方式改進(jìn)SNM算法，計(jì)算不均衡數(shù)據(jù)組內(nèi)方差，將其作為清洗不均衡數(shù)據(jù)的約束，通過對(duì)比物聯(lián)網(wǎng)海量不均衡數(shù)據(jù)組內(nèi)方差閾值，實(shí)現(xiàn)物聯(lián)網(wǎng)海量不均衡數(shù)據(jù)清洗。（剩余8395字）