基于Spark和Redis的增量式數(shù)據(jù)降維算法研究

打開文本圖片集

摘要：傳統(tǒng)的增量式數(shù)據(jù)降維算法無法滿足特定場景數(shù)據(jù)降維的實(shí)時性和高效性要求。文章研究的基于Spark和Redis的分布式增量數(shù)據(jù)降維算法DIPCA，可高效處理超大規(guī)模流式數(shù)據(jù)并實(shí)現(xiàn)實(shí)時更新，該算法的關(guān)鍵創(chuàng)新在于利用Spark的分布式特性以及Redis的高速緩存機(jī)制。實(shí)驗(yàn)結(jié)果表明，算法的性能和可擴(kuò)展性得到了極大的提升。（剩余4395字）