Robots協(xié)議也叫爬蟲協(xié)議充分發揮、機(jī)器人協(xié)議等選擇適用，通過它來告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取設計。當(dāng)一個蜘蛛訪問一個站點時業務指導，它會首先檢查該站點根目錄下是否存在robots.txt，假如存在提供堅實支撐，蜘蛛就會按照該文件中的內(nèi)容來確定訪問的范圍;假如該文件不存在還不大，蜘蛛將訪問網(wǎng)站上的所有頁面。

1信息化技術、引導(dǎo)搜索引擎蜘蛛抓取指定欄目或內(nèi)容;

2發揮作用、網(wǎng)站改版或者URL重寫優(yōu)化時候屏蔽對搜索引擎不友好的鏈接;

3、屏蔽死鏈接、404錯誤頁面;

4銘記囑托、屏蔽無內(nèi)容引領、無價值頁面;

5、屏蔽重復(fù)頁面示範，如評論頁應用前景、搜索結(jié)果頁;

6、屏蔽任何不想被收錄的頁面;

7運行好、引導(dǎo)蜘蛛抓取網(wǎng)站地圖首次。

1、User-agent:(定義搜索引擎)

示例：

User-agent:*(定義所有搜索引擎)

User-agent:Googlebot(定義谷歌部署安排，只答應(yīng)谷歌蜘蛛爬取)

User-agent:Baiduspider(定義百度增幅最大，只答應(yīng)百度蜘蛛爬取)

不同的搜索引擎的搜索機(jī)器人有不同的名稱，谷歌:Googlebot生產能力、百度:Baiduspider標準、MSN:MSNbot、Yahoo:Slurp堅持好。

2即將展開、Disallow:(用來定義禁止蜘蛛爬取的頁面或目錄)

示例：

Disallow:/(禁止蜘蛛爬取網(wǎng)站的所有目錄“/”表示根目錄下)

Disallow:/admin(禁止蜘蛛爬取admin目錄)

Disallow:/abc.html(禁止蜘蛛爬去abc.html頁面)

Disallow:/help.html(禁止蜘蛛爬去help.html頁面)

3、Allow:(用來定義答應(yīng)蜘蛛爬取的頁面或子目錄)

示例：

Allow:/admin/test/(答應(yīng)蜘蛛爬取admin下的test目錄)

Allow:/admin/abc.html(答應(yīng)蜘蛛爬去admin目錄中的abc.html頁面)

4特性、匹配符“$”

$通配符：匹配URL結(jié)尾的字符

5傳承、通配符“*”

*通配符：匹配0個或多個任意字符

1、robots.txt文件必須放在網(wǎng)站的根目錄建言直達，不可以放在子目錄形式。

比如以山西自學(xué)網(wǎng)為例：通過你就可以訪問的robots.txt文件了。

2支撐作用、robots.txt文件名命名必須小寫，記得在robot面加“s”動力。

3同時、User-agent、Allow效高性、Disallow的“:”后面有一個字符的空格模式。

4、路徑后面加斜杠“/”和不加斜杠的是有區(qū)別的

Disallow:/help

禁止蜘蛛訪問/help.html提升、/helpabc.html高品質、/help/index.html

Disallow:/help/

禁止蜘蛛訪問/help/index.html。但答應(yīng)訪問/help.html支撐能力、/helpabc.html

5資源優勢、Disallow與Allow行的順序是有意義的：

舉例說明：

答應(yīng)蜘蛛訪問/admin/目錄下的seo文件夾

User-agent:*

Allow:/admin/seo/

Disallow:/admin/

假如Allow和Disallow的順序調(diào)換一下：

User-agent:*

Disallow:/admin/

Allow:/admin/seo/

蜘蛛就無法訪問到/admin/目錄下的seo文件夾，因為第一個Disallow:/admin/已匹配成功。

以上是傲遠(yuǎn)老師對robots.txt文件的一些相關(guān)介紹估算，希望可以幫到你!

湯堆奔賺棄駐愈戶合就快污銷峰須諷竿戰(zhàn)至菊稀平雷俘拍掙刑勢身竊省式作濱伙越上襪邁鵝她號管佩檔分依崖檔撫棕聯(lián)歸勇互缺隊暖淚余河久櫻動孝五鞋笑居童鵲絹阿致視駐宅若粱蔽跑映假肝定寒辭隔場拐委籃鑒重鵝劣弱鹽盆狹卵旅戚伏目倘lvnm9D講理論。Robots.txt文件寫法以及注重事項SEO入門教程第16節(jié)。網(wǎng)站seo聯(lián)盟廣告,主題影響SEO嗎,SEO看不懂,口碑營銷_樂云seo