便宜做網(wǎng)站，不用客戶動手特價999元，源碼整套僅需50元起
50元起
查看詳情 →
做網(wǎng)站/做SEO/解決各類網(wǎng)站問題，直接與技術(shù)談！
淺談robots.txt文件的一些用法
發(fā)布時間：2012-12-19 來源：本站原創(chuàng) 作者：野狼SEO團隊 閱讀：532次
搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時，會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt，在文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。也就是說蜘蛛文件是百度根據(jù)站長的意愿對網(wǎng)站進行抓取。robots.txt應該放置在網(wǎng)站的根目錄下面，假如說文件里面禁止百度蜘蛛爬去那么網(wǎng)站不會被收錄，但是有的人會問我的蜘蛛文件里面明明已經(jīng)寫了禁止訪問的代碼為什么網(wǎng)站還會被在網(wǎng)頁上顯示呢，網(wǎng)頁上的內(nèi)容不會被抓取、建入索引和顯示，百度搜索結(jié)果中展示的僅是其他網(wǎng)站對您相關(guān)網(wǎng)頁的描述。假如說您不想讓百度在搜索結(jié)果中顯示網(wǎng)頁快照，請將此元標記置入網(wǎng)頁的<HEAD>部分：<meta name="robots" content="noarchive">此標記只是禁止百度顯示該網(wǎng)頁的快照，百度會繼續(xù)為網(wǎng)頁建索引，并在搜索結(jié)果中顯示網(wǎng)頁摘要。 。
本文作者：野狼SEO團隊
十六年網(wǎng)站建設(shè)相關(guān)經(jīng)驗
一站式為您提供網(wǎng)站相關(guān)服務
歡迎掃碼咨詢
本文提到這些服務【官方直供，放心選擇】：
還沒有人評論，快來搶個沙發(fā)！
