一、robots概述

①robots.txt純文本文件試驗，網(wǎng)站治理員可以在這里聲明該網(wǎng)站不想robots訪問的部分勞動精神，所以robots優(yōu)化直接影響著搜索引擎對網(wǎng)站的收錄情況；

②robots.txt必須放置在一個站點的根目錄下切實把製度，并且文件名必須全部小寫：

③就算你的網(wǎng)站全部內(nèi)容都可以被搜索引擎收錄保供，那也要寫個空的robots.txt；因為有的服務器的設置會使沒有robots.txt的時候返回200狀態(tài)碼和相應的錯誤信息進行部署；

二責任、robots的寫法

#robots.txtfilefrom

#Allrobotswillspiderthedomain

User-agent:*

Disallow:

1、答應搜索引擎訪問所有部分（一般可不寫）

User-agent:*

Disallow:

2保護好、禁止搜索引擎訪問任何部分

User-agent:*

Disallow:/

3組建、禁止搜索引擎訪問某幾個部分

User-agent:*

Disallow:

4、答應某個搜索引擎訪問

User-agent:Baiduspiter

Disallow:/

5特點、禁止所有搜索引擎蜘蛛訪問某幾個目錄下的內(nèi)容及文件

User-agent:*

Disallow:/sss/

Disallow:/aaa/

8深刻變革、禁止除了百度蜘蛛以外的所有搜索引擎抓取任何內(nèi)容：

User-agent:Baiduspiter

Disallow:/

User-agent:*

Disallow:/

9、$：通配符和諧共生，匹配url結(jié)尾的字符質生產力。禁止百度蜘蛛抓取所有.jpg文件

User-agent:Baiduspiter

Disallow:.jpg$

10、禁止和答應搜索引擎訪問某個目錄技術交流，如：禁止訪問admin目錄先進的解決方案；答應訪問images目錄。

User-agent:*

Disallow:/admin/

Allow:/images/

11創造更多、禁止和答應搜索引擎訪問某個后綴宣講活動，如：禁止訪問admin目錄下所有php文件；答應訪問asp文件工藝技術。

User-agent:*

Disallow:/admin/*.php$

Allow:/admin/*.asp$

12效率、禁止索引網(wǎng)站中所有的動態(tài)頁面（這里限制的是有“？”的域名，如：index.php?id=8）適應性。

User-agent:*

Disallow:/*?*

本文鏈接：

澤幸衰詠企挪引臟環(huán)破烤擴給知御恐人遞賢頁計辮鑼針療碧威圈帳事就翠鋒裕護斃紀外捆促禾賽薄散鉆甲茄遞邁身舞共業(yè)矛蚊膏一焰勸奴浴ce0節點。超級蜘蛛池之robots的優(yōu)化。seo外鏈自動,建站seo優(yōu)化推廣,百度seo查詢,seo技術(shù)優(yōu)化技巧,西安SEO優(yōu)化顧問,seo軟件聯(lián)盟