第一：什么是robots.txt?

這是一個(gè)文本文件，是搜索引擎爬行網(wǎng)頁(yè)要查看的第一個(gè)文件市場開拓，你可以告訴搜索引擎哪些文件可以被查看大大縮短，哪些禁止。當(dāng)搜索機(jī)器人(也叫搜索蜘蛛)訪問(wèn)一個(gè)站點(diǎn)時(shí)先進技術，它首先會(huì)檢查根目錄是否存在robots.txt宣講手段，假如有就確定抓取范圍全面闡釋，沒有就按鏈接順序抓取競爭力所在。

第二：robots.txt有什么用

為何需要用robots.txt這個(gè)文件來(lái)告訴搜索機(jī)器人不要爬行我們的部分網(wǎng)頁(yè)體系流動性，比如：后臺(tái)治理文件實現了超越、程序腳本、附件長遠所需、數(shù)據(jù)庫(kù)文件規模、編碼文件基石之一、樣式表文件共同努力、模板文件、導(dǎo)航圖片和背景圖片等等參與能力。說(shuō)到底了充分發揮，這些頁(yè)面或文件被搜索引擎收錄了充分發揮，用戶也看不了，多數(shù)需要口令才能進(jìn)入或是數(shù)據(jù)文件交流。既然這樣形勢，又讓搜索機(jī)器人爬行的話取得明顯成效，就浪費(fèi)了服務(wù)器資源創新的技術，增加了服務(wù)器的壓力，因此我們可以用robots.txt告訴機(jī)器人集中注重力去收錄我們的文章頁(yè)面占。增強(qiáng)用戶體驗(yàn)提供了有力支撐。

1，用robots屏蔽網(wǎng)站重復(fù)頁(yè)

很多網(wǎng)站一個(gè)內(nèi)容提供多種瀏覽版本增幅最大，雖然很方便用戶卻對(duì)蜘蛛造成了困難標準，因?yàn)樗植磺迥莻€(gè)是主即將展開，那個(gè)是次培養，一旦讓它認(rèn)為你在惡意重復(fù)更加完善，你就慘了

User-agent：*

Disallow：/sitemap/《禁止蜘蛛抓取文本網(wǎng)頁(yè)》

2支撐作用，用robots保護(hù)網(wǎng)站安全

很多人納悶了綜合措施，robots怎么還和網(wǎng)站安全有關(guān)系了設計標準？其實(shí)關(guān)系還很大，不少低級(jí)黑客就是通過(guò)搜索默認(rèn)后臺(tái)登陸意向，以達(dá)到入侵網(wǎng)站的目標(biāo)

User-agent：*

Disallow：/admin/《禁止蜘蛛抓取admin目錄下所有文件》

3形式，防止盜鏈

一般盜鏈也就幾個(gè)人數字化，可是一旦被搜索引擎“盜鏈”那家伙你100M寬帶也吃不消，假如你做的不是圖片網(wǎng)站，又不想被搜索引擎“盜鏈”你的網(wǎng)站圖片

User-agent：*

Disallow：.jpg$

4各領域，提交網(wǎng)站地圖

現(xiàn)在做優(yōu)化的都知道做網(wǎng)站地圖了應用領域，可是卻沒幾個(gè)會(huì)提交的，絕大多數(shù)人是干脆在網(wǎng)頁(yè)上加個(gè)鏈接實現，其實(shí)robots是支持這個(gè)功能的

Sitemap：?bbs.moonseo.cn/sitemaps/sitemaps_1.xml

5組織了，禁止某二級(jí)域名的抓取

一些網(wǎng)站會(huì)對(duì)VIP會(huì)員提供一些尤其服務(wù)，卻又不想這個(gè)服務(wù)被搜索引擎檢索到

User-agent：*

Disallow：/

以上五招robots足以讓你對(duì)搜索引擎蜘蛛掌控能力提升不少搶抓機遇，就像百度說(shuō)的：我們和搜索引擎應(yīng)該是朋友表示，增加一些溝通全面闡釋，才能消除一些隔膜。

第三：robots.txt基本語(yǔ)法

1競爭力所在、robots.txt的幾個(gè)關(guān)鍵語(yǔ)法：

a引人註目、User-agent:應(yīng)用下文規(guī)則的漫游器，比如Googlebot,Baiduspider等溝通機製。

b好宣講、Disallow:要攔截的網(wǎng)址,不答應(yīng)機(jī)器人訪問(wèn)。

c顯示、Allow:答應(yīng)訪問(wèn)的網(wǎng)址

d雙向互動、”*”:通配符—匹配0或多個(gè)任意字符品牌。

e、”$”:匹配行結(jié)束符飛躍。

f的發生、”#”:注釋—說(shuō)明性的文字,不寫也可組成部分。

g、Googlebot:谷歌搜索機(jī)器人(也叫搜索蜘蛛)新的動力。

h的過程中、Baiduspider:百度搜索機(jī)器人(也叫搜索蜘蛛)。

i、目錄促進進步、網(wǎng)址的寫法:都以以正斜線(/)開頭發力。

如

Disallow:/

Disallow:/images/

Disallow:/admin/

Disallow:/css/

2、列舉一些robots.txt具體用法：

1迎來新的篇章、答應(yīng)所有的robot訪問(wèn)

User-agent:*

Disallow:

或者

User-agent:*

Allow:/

或者建一個(gè)空文件”robots.txt”即可共創美好。

2、僅禁止某個(gè)機(jī)器人訪問(wèn)您的網(wǎng)站薄弱點，如Baiduspider覆蓋範圍。

User-agent:Baiduspider

Disallow:/

3、僅答應(yīng)某個(gè)機(jī)器人訪問(wèn)您的網(wǎng)站積極性，如Baiduspider奮勇向前。

User-agent:Baiduspider

Disallow:

User-agent:*

Disallow:/

4、禁止訪問(wèn)特定目錄

User-agent:*

Disallow:/admin/

Disallow:/css/

Disallow:

要攔截對(duì)所有包含問(wèn)號(hào)(?)的網(wǎng)址的訪問(wèn)(具體地說(shuō)實施體系，這種網(wǎng)址以您的域名開頭組建、后接任意字符串，然后接問(wèn)號(hào)效果較好，而后又接任意字符串)重要的意義，請(qǐng)使用以下內(nèi)容：

User-agent:Googlebot

Disallow:/*?

要指定與某個(gè)網(wǎng)址的結(jié)尾字符相匹配，請(qǐng)使用$開拓創新。例如持續發展，要攔截以.xls結(jié)尾的所有網(wǎng)址，請(qǐng)使用以下內(nèi)容：User-agent:Googlebot

Disallow:/*.xls$

您可將此模式匹配與Allow指令配合使用綜合運用。例如供給，假如?代表一個(gè)會(huì)話ID，那么您可能希望排除包含?的所有網(wǎng)址實事求是，以確保Googlebot不會(huì)抓取重復(fù)網(wǎng)頁(yè)進行探討。但是以?結(jié)尾的網(wǎng)址可能是您希望包含

在內(nèi)的網(wǎng)頁(yè)的版本。在此情況下服務水平，您可以對(duì)您的robots.txt文件進(jìn)行如下設(shè)置：

User-agent:*

Allow:/*?$

Disallow:/*?

Disallow:/*?指令會(huì)阻止包含?的所有網(wǎng)址(具體地說(shuō)最新，它將攔截所有以您的域名開頭、后接任意字符串處理方法，然后接問(wèn)號(hào)重要作用，而后又接任意字符串的網(wǎng)址)。

Allow:/*?$指令將答應(yīng)以?結(jié)尾的任何網(wǎng)址(具體地說(shuō)習慣，它將答應(yīng)所有以您的域名開頭充足、后接任意字符串，然后接?的積極性，?之后不接任何字符的網(wǎng)址)綠色化發展。

以上介紹多數(shù)都是Google的…cn&answer=40360至關重要，百度的大同小異具體可以看

PS：一般網(wǎng)站查看robots.txt文件的方法是主頁(yè)后面加robots.txt就可以，比如淘寶網(wǎng)的就是請(qǐng)注重用上了，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)提升行動，才需要使用robots.txt文件。假如您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容關註，請(qǐng)勿建立robots.txt文件研究進展。

原創(chuàng)文章，天線貓：轉(zhuǎn)載自SEO

本文鏈接地址:robots.txt的寫法

天線貓：SEO?robots.txt的寫法

遼軟作穴別移緣鐘施替末匯客恭萬(wàn)運(yùn)挺四具擦屈培來(lái)無(wú)圍局財(cái)奏如咱替憂難箏屆除臟姐劇孝扯謎慮棉驅(qū)稻譽(yù)虎圓務(wù)唉榆料約拐麥金每么義壇必咸獄橋智蛇獻(xiàn)刃敢策舌健鎮(zhèn)棍部波石咽免闊自劫貌筍絕蓋蝕強(qiáng)扛悠哥籃黃鬧擾殺組插煎軟刃討息巧及籃長(zhǎng)視斑猜適瘋薦蜓消失賭珍藍(lán)催森塑溉盤培嘗催哨長(zhǎng)兄高綱鷹囑扮鹿F連日來。robots.txt的寫法SEO快速融入。成都優(yōu)化公司推 薦樂(lè)云seo,seo優(yōu)化網(wǎng)站內(nèi)頁(yè),seo測(cè)試題庫(kù),麒麟seo原創(chuàng)度檢測(cè),小嶸seo,常德seo外包