搜尋引擎的解決目標是互聯網絡網頁，日前網頁單位以百億計，故而搜尋引擎率先面臨的問題就是：若何可以設計出高效的鍵入零碎，以將如此洪量的網頁數據傳送到異鄉，在異鄉構成互聯網絡網頁的鏡像備案。
網絡爬蟲即起此效用，它是搜尋引擎零碎中很要害也根根底的構件。那里關緊申說與網絡爬蟲相關的技能，只管爬蟲技能情節若干十年的停滯，從通體框架上已純粹成熟，但隨著聯網的一直停滯，也面臨著一點兒有求戰性的新問題。
下圖所示是一個通用的爬蟲框架流程。率先從互聯網絡頁面中精心取舍一全體網頁，以該署網頁的鏈接地址作為子粒，將該署子粒放入待抓取隊列中，爬蟲從待抓取隊列依次讀取，并將情節解析，把鏈接地址轉換為網站服務器對應的地址。
而后將其和網頁純粹門徑名稱開赴網頁鍵入器，網頁鍵入器負責頁面意思的鍵入。關于鍵入到異鄉的網頁，一上頭將其存儲到頁面庫中，期待構建索引等后續解決;另一上頭將鍵入網頁的放入已抓取隊列中，某個隊列記錄了爬蟲零碎曾經鍵入過的網頁，以避免網頁的反復抓取。關于剛鍵入的網頁，居中抽存入所蘊含的所有鏈接信息，并在已抓取隊列中審查，那么發現鏈接還沒有被抓取過，則將某個放入待抓取隊列開端，在而后的抓取調度中會鍵入某個對應的網頁。如此這般，構成輪回，直至待抓取隊名列審，這**著爬蟲零碎已將可以抓取的網頁盡數抓完，此時踐行了一輪純粹的抓取內中。
關于爬蟲來說，往往還須要接續網頁去重及網頁反舞弊。
上述是一個通用爬蟲的通體流程，那么從更加直觀的觀點思忖，在于靜態抓取內中中的爬蟲和互聯網絡所有網頁之間的關系，能夠大體像如圖22所身那么，將互聯網絡頁面劃分為5個全體：
1.已鍵入網頁拆伙：爬蟲曾經從互聯網絡鍵入到異鄉接續索引的網頁拆伙。
2.已逾期網頁拆伙：因為網頁數最碩大，爬蟲純粹抓取一輪須要較短工夫，在抓取內中中，灑灑曾經鍵入的網頁可能逾期。之故而如此，是所以互聯網絡網頁在于一直的靜態變遷內中中，故而易萌生異鄉網頁意思和真個互聯網絡網頁不一統的面貌。
3.待鍵入網頁拆伙：即在于上圖中待抓取隊列中的網頁，該署網頁行將被爬蟲鍵入。
4.可知網頁拆伙：該署網頁還沒有被爬蟲鍵入，也沒有涌方今待抓取隊列中，然而情節曾經抓取的網頁仍然在待抓取隊列中的網頁，afnun總足可以情節鏈接關系發現它們，稍晚時機緣被爬蟲抓取并索引。
5.不了知網頁拆伙：長處網頁關于爬蟲來說是怎奈抓取到的，這全體網頁形成了不了知網頁拆伙。實事上，這全體網頁所占的對比頎長。
依據相反的利用，爬蟲零碎在好些上頭存在差距，大體而言，能夠將爬蟲劃分為如次三品種型:
1. 批量型爬蟲（ ）：批量型爬蟲有比擬明確的抓取規模和指標，當爬蟲達成某個設定的指標后，即稽留抓取內中。至于具體指標可能各異，興許是設定抓取定然單位的網頁即可，興許是設定抓取締費的工夫等。
2.增量型爬蟲（ ）：增量型爬蟲與批量型爬蟲相反，會保持傳續一直的抓取，關于抓取到的網頁，要定期復舊，所以互聯網絡的網頁在于一直變遷中，新增網頁、網頁被芟除仍然網頁意思更改都很常見，而增量型爬蟲須要及早反映這種變遷，故而在于傳續一直的抓取內中中，不是在抓取新網頁，就是在復舊已有網頁。通用的生意搜尋引擎爬蟲根本都屬該類。
3.鉛直型爬蟲 ）：鉛直型爬蟲關注一定正題意思仍然歸屬一定行當的網頁，借喻關于病弱網站來說，只要要從互聯網絡頁而里找到與病弱相關的頁面意思即可，其余行當的意思不在思忖規模。鉛直型爬蟲一個的特點和難點就是：若何識別網頁意思是否歸屬指定行當仍然正題。從節約零碎資源的觀點來說，不太可能把所有互聯網絡頁面鍵入下來而后再去篩選，那樣糜費資源就太盡力了，往往須要爬蟲在抓取階段就可以靜態識別某個網址是否與正題相關，并放量不去抓墩無干頁面，以達成節約資源的目標。鉛直搜尋網站仍然鉛直行當網站往往須要此品種型的爬蟲。