robots.txt協議并不是一個規范，而只是約定俗成的，通常搜索引擎會識別這個文件，但也有一些特殊情況。

robots.txt是一種存放于網站根目錄下的文本文件，用于告訴搜索引擎的爬蟲（spider），此網站中的哪些內容是不應被搜索引擎的索引，哪些是可以被索引。通常認為，robots.txt文件用來搜索引擎對目標網頁的抓取深圳網絡公司。


上面這個標記只是禁止百度顯示該網頁的快照，百度會繼續為網頁建索引，并在搜索結果中顯示網頁摘要。

對于Google來說，使用robots也未必能阻止Google將網址編入索引，如果有其他網站鏈接到該網頁的話，Google依然有可能會對其進行索引。按照Google的說法，要想徹底阻止網頁的內容在Google網頁索引中（即使有其他網站鏈接到該網頁）出現，需要使用noindex元標記或x-robots-tag。例如將下面的一行加入到網頁的header部分深圳網站建設。



如果Google看到某一頁上有noindex的元標記，就會將此頁從Google的搜索結果中完全丟棄，而不管是否還有其他頁鏈接到此頁。

對于百度來說，情況和Google類似，如果有其他網站鏈接目標網頁，也有可能會被百度收錄，從百度的說明頁面上看，百度并不支持像Google那樣通過noindex完全將網頁從索引上刪除，只支持使用noarchive元標記來禁止百度顯示網頁快照。具體的語句如下深圳做網站。

以上【 Robots規則在搜索引擎的應用 】的內容由達設互動（http://www.allclubs.com.cn）為您提供，本文網址 ： http://www.allclubs.com.cn/wangzhanjianshezhishi/363.html ，轉載請注明出處！更多有關深圳網站建設，微信小程序、電商平臺建設、系統開發等互聯網應用服務都可以聯系我們。熱線：130 7784 6582