所有網(wǎng)站的robots文件都是公開的，假如輸入“網(wǎng)站域名/robots.txt”打開了一個404錯誤頁面應用優勢，則說明該網(wǎng)站沒有做robots文件高質量發展。

robots文件是搜索引擎蜘蛛來一個網(wǎng)站首先要查看的，提前知道該網(wǎng)站哪些答應(yīng)它抓取緊密相關，哪些不答應(yīng)的更默契了，它會遵循規(guī)定來做。假如不做robots文件培訓，在該網(wǎng)站的空間日志里會出現(xiàn)一個404的錯誤代碼不合理波動，這不要緊，因?yàn)楹芏嗑W(wǎng)站都不做效高，尤其對于小型網(wǎng)站并不重要前沿技術。但大型網(wǎng)站講究比較細(xì)致基礎，基本上都會做性能。

下圖中淘寶的robots文件表示禁止百度蜘蛛抓取網(wǎng)站的任何內(nèi)容多種方式，有人會問“我搜索淘寶網(wǎng)，明明可以搜到技術創新，難道是淘寶寫錯深入交流研討，或百度沒有遵守這個規(guī)則?”這里天線貓seo的小編要說明兩點(diǎn):

(1)淘寶并沒有寫錯

(2)百度有時候的確會不遵守規(guī)則，包括其他搜索引擎也是如此廣泛應用。

搜索引擎并不會完全遵守robots文件，但總體來說都是遵守的。有些文章已經(jīng)被百度收錄了力度，假如臨時要用robots文件屏蔽它們相互融合，那么在百度的數(shù)據(jù)庫里大概需要幾個星期到一兩個月的時間才能慢慢刪除這些文章。

為什么淘寶網(wǎng)一直在百度里呢?并不是百度不遵守規(guī)則建立和完善，而是從用戶體驗(yàn)的角度來講提供了遵循，假如一個網(wǎng)民去百度搜索“淘寶網(wǎng)”，很后竟然搜索不到大型，他會認(rèn)為百度這么大一個搜索引擎居然搜索不到這個知名的淘寶網(wǎng)服務效率，非常希罕。所以像淘寶網(wǎng)這種非常知名的網(wǎng)站重要意義，百度對它比較尤其統籌發展，或者說是從用戶體驗(yàn)的角度出發(fā)，讓網(wǎng)民能搜索到這類知名的網(wǎng)站體系，哪怕淘寶的robots文件里禁上百度抓取生產製造。