互聯(lián)網(wǎng)數(shù)據(jù)挖掘與分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

打開文本圖片集

摘 要：面對移動(dòng)互聯(lián)網(wǎng)中龐大的數(shù)據(jù)量，如何進(jìn)行挖掘和可視化的分析是當(dāng)前大數(shù)據(jù)研究的一個(gè)熱點(diǎn)。本文搭建了一個(gè)互聯(lián)網(wǎng)數(shù)據(jù)挖掘與分析平臺(tái)，首先采用基于Scrapy框架搭建的爬蟲系統(tǒng)從互聯(lián)網(wǎng)絡(luò)爬取了大量新聞數(shù)據(jù)與招聘數(shù)據(jù)，通過Sphinx和CoreSeek經(jīng)過googlediffmatchpatch算法去重，最后利用R語言對這些數(shù)據(jù)進(jìn)行可視化分析，從而為制定決策提供更好的依據(jù)。（剩余3914字）