robots.txt概述
　　
　　網(wǎng)站的標準配置是要在根目錄下有一個robots.txt的文件,用來說明讓不讓蜘蛛抓取,或者是給搜索引擎一個指引，告訴他哪些網(wǎng)頁可以抓取，哪些不可以，告訴他們網(wǎng)站地圖在什么地方等等。robots.txt是一個協(xié)議，這個協(xié)議不具有強制性，有些搜索引擎也會不遵守（一般都會遵守的）。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。百度官方建議，僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。
　　
　　robots.txt設(shè)置方法
　　
　　直接看范例吧：http://www.zhongweijy.com.cn/robots.txt我們的網(wǎng)站robots.txt文件
　　
　　User-agent:*
　　
　　Allow:/
　　
　　第一行的意思是，這個協(xié)議適用的范圍是對準所有搜索引擎有效，你也可以用Baiduspider（百度網(wǎng)頁搜索引擎）、Googlebot（谷歌網(wǎng)頁搜索引擎）
　　
　　第二行的意思是，允許抓取全部的頁面，如果你AllOW后邊加個/bin/就是允許ALLOW目錄被抓取，當然不想讓抓取的可以寫成Disallow:/bin/。每一條規(guī)則占一行?？梢杂枚鄺l規(guī)則。
　　
　　如果你不想太深究這個問題，可以用站長之家提供的工具生成一個robots.txt吧！網(wǎng)址是http://tool.chinaz.com/robots/