蜘蛛爬行的兩種方式

發(fā)布時(shí)間：2013-01-22 來源：本站原創(chuàng) 作者：野狼SEO團(tuán)隊(duì) 閱讀：866次

我們做網(wǎng)站優(yōu)化的人常說網(wǎng)站的結(jié)構(gòu)要扁平化，越扁平網(wǎng)站的收錄越好用戶體驗(yàn)越好這是什么原因呢？首先我們要了解的是蜘蛛的爬行方式，分為廣度優(yōu)先和深度優(yōu)先兩種：廣度優(yōu)先指的是網(wǎng)絡(luò)蜘蛛會(huì)先抓取起始網(wǎng)頁中鏈接的所有網(wǎng)頁，然后在選擇其中的一個(gè)鏈接網(wǎng)頁，繼續(xù)抓取在此網(wǎng)頁中鏈接的所有頁面，這個(gè)是比較常用的方法，因?yàn)檫@個(gè)方法可以讓蜘蛛并行處理，提高抓取速度。深度優(yōu)先：指的是蜘蛛會(huì)從起始頁面開始一個(gè)鏈接一個(gè)連接的跟蹤下去，處理完這條線路之后在轉(zhuǎn)入下一個(gè)起始頁繼續(xù)跟蹤鏈接，這個(gè)方法的優(yōu)點(diǎn)是蜘蛛程序在設(shè)計(jì)的時(shí)候比較簡單。
再來說一個(gè)為什么扁平的結(jié)構(gòu)有利于收錄，有些蜘蛛程序?qū)σ恍?quán)重不是很好的網(wǎng)站爬行的不深，假如說蜘蛛只爬行前兩層那么第三層以后的內(nèi)容蜘蛛就不會(huì)收錄，所以網(wǎng)站的結(jié)構(gòu)越扁平就越利于爬行就越容易收錄。