企業(yè)建網(wǎng)站網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的分類
日期 : 2020-12-05 20:42:21
網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的分類。網(wǎng)絡(luò)爬蟲(chóng)作為一種網(wǎng)頁(yè)抓取技術(shù)，其主要分為通用網(wǎng)絡(luò)爬蟲(chóng)、聚焦網(wǎng)絡(luò)爬蟲(chóng)兩種類型。其中通用網(wǎng)絡(luò)爬蟲(chóng)是利用捜索引擎，對(duì)網(wǎng)頁(yè)中的數(shù)據(jù)信息進(jìn)行搜索、采集與抓取的技術(shù)，通過(guò)將互聯(lián)網(wǎng)網(wǎng)頁(yè)下載到本地，來(lái)保證網(wǎng)絡(luò)內(nèi)容的抓取、存儲(chǔ)與鏡像備份。首先第一步是對(duì)網(wǎng)站URL低質(zhì)進(jìn)行抓取，解析DNS得到主機(jī)IP地址，并對(duì)相應(yīng)的URL網(wǎng)頁(yè)進(jìn)行下載。第二步，對(duì)爬蟲(chóng)爬取的網(wǎng)頁(yè)進(jìn)行存儲(chǔ)，利用搜索引擎抓取到原始頁(yè)面，比較網(wǎng)頁(yè)數(shù)據(jù)與用戶瀏覽器HTML內(nèi)容的相似性，來(lái)決定是否對(duì)網(wǎng)站信息進(jìn)行繼續(xù)爬行。最后，對(duì)搜索引擎爬蟲(chóng)抓取的信息進(jìn)行處理，主要通過(guò)應(yīng)用程序或腳本的執(zhí)行，展開(kāi)HTML文件、索引文字內(nèi)容的預(yù)處理，包括噪音、提取文字、中文分詞、索引及鏈接、特殊文件等的處理。
而聚焦網(wǎng)絡(luò)爬蟲(chóng)的抓取與執(zhí)行流程，則比通用網(wǎng)絡(luò)爬蟲(chóng)更加復(fù)雜，其作為“面向特定主題需求”的網(wǎng)絡(luò)爬蟲(chóng)程序，可以在實(shí)時(shí)網(wǎng)頁(yè)抓取的同時(shí)，對(duì)其中的海量數(shù)據(jù)信息進(jìn)行篩選、處理。
因此依托于聚焦網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，對(duì)網(wǎng)頁(yè)的數(shù)據(jù)內(nèi)容進(jìn)行抓取與分析，可以快速過(guò)濾掉與主題無(wú)關(guān)的URL地址。之后將相關(guān)性較高的URL地址放入U(xiǎn)RL隊(duì)列，再進(jìn)行隊(duì)列中所需數(shù)據(jù)的進(jìn)一步URL抓取、篩選，多次重復(fù)以上操作直至滿足相應(yīng)主題的爬取要求后，終止該程序的執(zhí)行。
而聚焦網(wǎng)絡(luò)爬蟲(chóng)的抓取與執(zhí)行流程，則比通用網(wǎng)絡(luò)爬蟲(chóng)更加復(fù)雜，其作為“面向特定主題需求”的網(wǎng)絡(luò)爬蟲(chóng)程序，可以在實(shí)時(shí)網(wǎng)頁(yè)抓取的同時(shí)，對(duì)其中的海量數(shù)據(jù)信息進(jìn)行篩選、處理。
因此依托于聚焦網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，對(duì)網(wǎng)頁(yè)的數(shù)據(jù)內(nèi)容進(jìn)行抓取與分析，可以快速過(guò)濾掉與主題無(wú)關(guān)的URL地址。之后將相關(guān)性較高的URL地址放入U(xiǎn)RL隊(duì)列，再進(jìn)行隊(duì)列中所需數(shù)據(jù)的進(jìn)一步URL抓取、篩選，多次重復(fù)以上操作直至滿足相應(yīng)主題的爬取要求后，終止該程序的執(zhí)行。
相關(guān)文章
精彩導(dǎo)讀
熱門資訊
