404頁(yè)面根據(jù)抓取如何調(diào)整
網(wǎng)站日志是記錄服務(wù)器的日常動(dòng)態(tài),特別是搜索引擎爬行和抓取的動(dòng)態(tài),通過(guò)日志能很清晰的分析出來(lái)??纯从卸嗌?01,多少404,看看哪些頁(yè)面被過(guò)渡抓取,哪些始終沒(méi)有被爬行,每個(gè)頁(yè)面的平均抓取時(shí)間,蜘蛛每次訪問(wèn)網(wǎng)站的抓取深度,蜘蛛每天到訪網(wǎng)站的次數(shù)等等,這些都能直接反應(yīng)網(wǎng)站目前的問(wèn)題。
訪問(wèn)次數(shù)側(cè)面反應(yīng)權(quán)重
蜘蛛訪問(wèn)網(wǎng)站的次數(shù)能側(cè)面反應(yīng)出網(wǎng)站自身的權(quán)重,一般小網(wǎng)站單個(gè)蜘蛛每天來(lái)訪的次數(shù)大概在幾十次。如果高于幾十次,那么說(shuō)明通過(guò)鏈接爬行到網(wǎng)站上的次數(shù)較多,那么抓取收錄的機(jī)會(huì)就會(huì)大一些,最終對(duì)排名也是有積極的影響。如果每天來(lái)訪一兩次甚至零次,那么網(wǎng)站非常危險(xiǎn)。
404頁(yè)面降低整體權(quán)重
每個(gè)網(wǎng)站或多或少的都有404錯(cuò)誤頁(yè)面,這是不可避免的現(xiàn)象。有時(shí)候是空間上本身問(wèn)題,有時(shí)候是自身網(wǎng)站的設(shè)置問(wèn)題,有時(shí)候是外部網(wǎng)站存在外部鏈接的問(wèn)題,從日志中一旦發(fā)現(xiàn),就應(yīng)該立刻調(diào)整。如果是抓取某個(gè)URL404特別多的話,需要在網(wǎng)站上建立這樣一個(gè)URL頁(yè)面,有效的利用,也可以修改robots文件給予屏蔽,禁止抓取。大量的404錯(cuò)誤會(huì)被蜘蛛記錄下來(lái),對(duì)網(wǎng)站是減分印象,所以會(huì)從整體上降低網(wǎng)站的權(quán)重。