Python環(huán)境下利用Selenium與JavaScript逆向技術(shù)爬蟲研究

打開文本圖片集

摘 要：針對使用調(diào)試檢測、數(shù)據(jù)加密等技術(shù)的網(wǎng)站，解析工具Beautiful Soup難以對網(wǎng)頁進行解析爬取數(shù)據(jù)。本研究基于Python環(huán)境，結(jié)合JavaScript逆向技術(shù)、Beautiful Soup網(wǎng)頁解析等網(wǎng)絡(luò)爬蟲技術(shù)，利用中間人攻擊工具Mitmproxy（man-in-the-middle attack proxy）在本地指定設(shè)備端口開啟本地代理，攔截并修改網(wǎng)頁響應(yīng)。（剩余6088字）