接觸網(wǎng)站優(yōu)化的站長都知道優(yōu)化分為站內(nèi)優(yōu)化和站外優(yōu)化，站內(nèi)優(yōu)化除了網(wǎng)站的內(nèi)部結(jié)構(gòu)以及各種標(biāo)簽的使用還有以下三大點非常重要：
第一，網(wǎng)站地圖，網(wǎng)站地圖指的是一個頁面，上面放置了網(wǎng)站上所有頁面的鏈接，一個網(wǎng)站上所有鏈接的容器，根據(jù)網(wǎng)站的結(jié)構(gòu)、框架、內(nèi)容，生成的導(dǎo)航網(wǎng)頁文件。要是在網(wǎng)站上找不到自己所需要的信息時，可能會將網(wǎng)站地圖作為一種補(bǔ)救措施，蜘蛛非常喜歡網(wǎng)站地圖，喜歡在網(wǎng)站地圖上爬來爬去尋找自己喜歡的新鮮的東西。
第二，404頁面
404是W3C規(guī)定的http狀態(tài)碼中的一種，是訪問網(wǎng)站比較常出現(xiàn)的錯誤。告訴瀏覽者其所請求的頁面不存在或鏈接錯誤，同時引導(dǎo)用戶使用網(wǎng)站其他頁面而不是關(guān)閉窗口離開，這種專業(yè)的官方解釋，通俗點將404頁面就是一個網(wǎng)站內(nèi)的報錯頁面，當(dāng)我們輸入你的網(wǎng)站網(wǎng)址出現(xiàn)錯誤是就會直接跳轉(zhuǎn)到404頁面，404頁面會引導(dǎo)用戶返回到網(wǎng)站的首頁或者其他用戶比較關(guān)注的頁面，這就需要我們在制作404頁面時給用戶或者蜘蛛做一個很好的引導(dǎo)作用，引導(dǎo)用戶回到你的網(wǎng)站首頁或者其他頁面，要是你的404頁面什么都沒有的話，蜘蛛或者用戶訪問到你的這個頁面找不到任何的信息就會直接關(guān)閉，這樣的用戶體驗是很不好的。
第三，就是我們常見的robots.txt
在搜索引擎訪問網(wǎng)站的時候，robots.txt是第一個要被查看的文件，蜘蛛程序會根據(jù)文件上允許的頁面進(jìn)行爬取，在進(jìn)行網(wǎng)站優(yōu)化的時候，通過蜘蛛文件把一些不想讓蜘蛛抓取的內(nèi)容，比如js等文件攔截，假如說沒有robots.txt文件，蜘蛛會抓取你網(wǎng)站上所有的文件，這樣的話一些不想讓蜘蛛抓取的文件也會被抓取到，久而久之，會讓蜘蛛對你的網(wǎng)站產(chǎn)生很嚴(yán)重的排斥心理，會大大降低網(wǎng)站的搜索引擎抓取效率。