網(wǎng)站托管問題解決不了？低至10元，幫您解決！加微信直接與技術聊。
10元起
掃碼咨詢
推薦欄目
做網(wǎng)站/做SEO/解決各類網(wǎng)站問題，直接與技術談！
由于該網(wǎng)站的robots.txt文件存在限制指令……這種會影響網(wǎng)站優(yōu)化效果嗎？
發(fā)布時間：2018-09-17 來源：本站原創(chuàng) 作者：野狼SEO團隊 閱讀：27114次
有時候搜索網(wǎng)站的時候會出現(xiàn)提示：
由于該網(wǎng)站的robots.txt文件存在限制指令（限制搜索引擎抓?。到y(tǒng)無法提供該頁面的內容描述 - 了解詳情
這種情況就是屬于robots.txt封禁，禁止蜘蛛進行抓取，比如淘寶網(wǎng)站是這樣的：
你可以訪問https://www.taobao.com/robots.txt 會發(fā)現(xiàn)他是這樣寫的：
上邊寫的是針對幾個大的搜索引擎，下邊寫的是針對所有搜索引擎。這個寫法是比較絕情的，而且看出來寫這的人似乎是怕有些搜索引擎識別不了一些代碼，所以分開寫，然后再寫個總的，總之就是讓這個封禁兼容性更好，讓搜索引擎都能識別到，可謂是煞費苦心。
如果你的網(wǎng)站也提示這，就要在網(wǎng)站根目錄找到這個文件（robots.txt），然后分析一下是不是禁止蜘蛛抓取，想辦法去掉就可以了，你可以這樣寫：
User-Agent: *
Allow: /
這樣搜索引擎就會抓取。不過當你修改之后，可能還需要搜索引擎適應一段時間，這個時間長短主要取決于搜索引擎過來抓取的頻度，如果是天天來，可能需要一周時間能讓快照變正常。
如果您需要網(wǎng)站內部優(yōu)化，可以聯(lián)系微信電話：13526646200 給你做一個網(wǎng)站的內部檢查，利于SEO，效果好，排名高！也可以掃描文末的二維碼，沒聯(lián)系我們。
本文作者：野狼SEO團隊
十六年網(wǎng)站建設相關經驗
一站式為您提供網(wǎng)站相關服務
歡迎掃碼咨詢
本文提到這些服務【官方直供，放心選擇】：
-
-
服務器維護問題解決不了？低至10元，幫您解決！加微信直接與技術聊。
10元起 掃碼咨詢
繼續(xù)瀏覽有關 網(wǎng)站優(yōu)化 的內容
-
帶頭大哥om的評論：
1 我換了手機，換了電腦還是 不能登錄，咋回事啊管理員回復：不能登錄跟這個提示沒有太大關系，建議找一下網(wǎng)站管理員咨詢2021-04-24 -
12333的評論： 1 根目錄到底在哪？大神們管理員回復：程序的總目錄下邊，“根目錄”是一個專業(yè)一些的名詞，建議百度搜一下2021-04-09
-
pp的評論： 4 請問要怎么修改管理員回復：把 Disallow: / 改為 Allow: / 因為有的文件寫的不標準，不放心的話可以加我微信13526646200 或聯(lián)系在線客服 免費幫您看看2020-06-11
-
1231的評論： 1 去掉之后幾天能顯示正常？管理員回復：根據(jù)網(wǎng)站的表現(xiàn)情況，如果外鏈比較多的正常網(wǎng)站，一般一周內即可顯示正常。如果網(wǎng)站不行或者湊巧碰到搜索引擎不更新，可能會超過一個月2019-07-10
-
123321的評論： 1 那為什么有些電腦能進淘寶網(wǎng) 而有的不能 按道理這樣寫了不就全部不能進的啊我的是一直進去看不到圖片 肯定是被限制了 但是換一臺電腦又可以進了管理員回復：這個是針對搜索引擎的協(xié)議，并不影響瀏覽器或者電腦是否可以訪問某一個網(wǎng)站。您的問題可能是電腦系統(tǒng)有問題導致2019-01-12