搜索引擎使用spider程序自動(dòng)訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息背景下。spider在訪問(wèn)個(gè)網(wǎng)站時(shí)綜合措施，會(huì)首先會(huì)檢查該網(wǎng)站的根域下是否有個(gè)叫做robots.txt的純文本文件。您可以在您的網(wǎng)站中創(chuàng)建個(gè)純文本文件robots.txt，在文件中聲明該網(wǎng)站中不想被robot訪問(wèn)的部分或者指定搜索引擎只收錄特定的部分設計標準。

請(qǐng)注重開展，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用robots.txt文件發揮重要帶動作用。假如您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容發展成就，請(qǐng)勿建立robots.txt文件或者創(chuàng)建個(gè)內(nèi)容為空的robots.txt文件。

robots.txt放置位置

robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下重要方式。舉例來(lái)說(shuō)開展面對面，當(dāng)spider訪問(wèn)個(gè)網(wǎng)站(比如)時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在這個(gè)文件非常重要，假如

Spider找到這個(gè)文件進一步提升，它會(huì)根據(jù)這個(gè)文件的內(nèi)容，來(lái)確定它訪問(wèn)權(quán)限的范圍營造一處。

robots.txt格式

文件包含條或更多的記錄改革創新，這些記錄通過(guò)空行分開(kāi)(以CR,CR/NL,

or

NL作為結(jié)束符)，每條記錄的格式如下所示：”:”取得顯著成效。在該文件中可以使用#進(jìn)行注解新模式。該文件中的記錄通常以行或多行User-agent開(kāi)始，后面加上若干Disallow和Allow行,具體情況如下規劃。

User-agent:

該項(xiàng)的值用于描述搜索引擎robot的名字提高。在”robots.txt”文件中，假如有多條User-agent記錄說(shuō)明有多個(gè)robot會(huì)受到”robots.txt”的限制進入當下，對(duì)該文件來(lái)說(shuō)紮實，少要有條User-agent記錄。

假如該項(xiàng)的值設(shè)為*新體系，則對(duì)任何robot均有效投入力度，在”robots.txt”文件中，”User-agent:*”這樣的記錄只能有條不難發現。假如在”robots.txt”文件中貢獻法治，加入”User-

agent:SomeBot”和若干Disallow、Allow行發展需要，那么名為”SomeBot”只受到”User-agent:SomeBot”后面的

Disallow和Allow行的限制攻堅克難。Disallow:

該項(xiàng)的值用于描述不希望被訪問(wèn)的組URL，這個(gè)值可以是條完整的路徑方式之一，也可以是路徑的非綴生動，以Disallow項(xiàng)的值開(kāi)頭的URL不會(huì)被robot訪問(wèn)。例

如”Disallow:/help”禁止robot訪問(wèn)/help*.html創新能力、/help/index.html新品技，而”Disallow:

/help/”則答應(yīng)robot訪問(wèn)/help*.html，不能訪問(wèn)/help/index.html。

"Disallow:"說(shuō)明答應(yīng)robot訪問(wèn)該網(wǎng)站的所有url紮實做，在”/robots.txt”文件中空間廣闊，少要有條Disallow記錄。假如”/robots.txt”不存在或者為空文件提供深度撮合服務，則對(duì)于所有的搜索引擎robot服務品質，該網(wǎng)站都是開(kāi)放的。

Allow:

該項(xiàng)的值用于描述希望被訪問(wèn)的組URL組成部分，與Disallow項(xiàng)相似影響，這個(gè)值可以是條完整的路徑，也可以是路徑的前綴的過程中，以Allow項(xiàng)的值開(kāi)頭的URL是答應(yīng)robot訪問(wèn)的發展契機。例如”Allow:/hibaidu”答應(yīng)robot訪問(wèn)/hibaidu.htm、/hibaiducom.html促進進步、

/hibaidu/com.html去突破。個(gè)網(wǎng)站的所有URL默認(rèn)是Allow的，所以Allow通常與Disallow搭配使用達到，實(shí)現(xiàn)答應(yīng)訪問(wèn)部分網(wǎng)頁(yè)同時(shí)禁止訪問(wèn)其它所有URL的功能智能設備。

需要尤其注重的是Disallow與Allow行的順序是有意義的，robot會(huì)根據(jù)第個(gè)匹配成功的Allow或Disallow行確定是否訪問(wèn)某個(gè)URL蓬勃發展。

使用”*”和”$”：Baiduspider支持使用通配符”*”和”$”來(lái)模糊匹配url特點。“$”匹配行結(jié)束符開放要求∠蚝脩B勢！?”匹配0或多個(gè)任意字符。

robots.txt文件用法舉例：

1.答應(yīng)所有的robot訪問(wèn)

User-agent:*Allow:/或者User-agent:*Disallow:

2.禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分

User-agent:*

Disallow:/

3.僅禁止Baiduspider訪問(wèn)您的網(wǎng)站

User-agent:Baiduspider

Disallow:/

4.僅答應(yīng)Baiduspider訪問(wèn)您的網(wǎng)站

User-agent:Baiduspider

Disallow:

5.禁止spider訪問(wèn)特定目錄

User-agent:*

Disallow:/cgi-bin/

Disallow:/tmp/

Disallow:/~joe/

6.答應(yīng)訪問(wèn)特定目錄中的部分url

User-agent:*

Allow:/cgi-bin/see

Allow:/tmp/hi

Allow:/~joe/look

Disallow:/cgi-bin/

Disallow:/tmp/

Disallow:/~joe/

7.使用”*”限制訪問(wèn)url

禁止訪問(wèn)/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)服務機製。

User-agent:*

Disallow:/cgi-bin/*.htm

8.使用”$”限制訪問(wèn)url

僅答應(yīng)訪問(wèn)以”.htm”為后綴的URL。

User-agent:*

Allow:.htm$

Disallow:/

例9.禁止訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面

User-agent:*

Disallow:/*?*

10.禁止Baiduspider抓取網(wǎng)站上所有圖片

僅答應(yīng)抓取網(wǎng)頁(yè)使用，禁止抓取任何圖片大幅拓展。

User-agent:Baiduspider

Disallow:.jpg$

Disallow:.jpeg$

Disallow:.gif$

Disallow:.png$

Disallow:.bmp$

11.僅答應(yīng)Baiduspider抓取網(wǎng)頁(yè)和.gif格式圖片

答應(yīng)抓取網(wǎng)頁(yè)和gif格式圖片，不答應(yīng)抓取其他格式圖片

User-agent:Baiduspider

Allow:.gif$

Disallow:.jpg$

Disallow:.jpeg$

Disallow:.png$

Disallow:.bmp$

12.僅禁止Baiduspider抓取.jpg格式圖片

User-agent:Baiduspider

Disallow:.jpg$

般這個(gè)在網(wǎng)站未上線前使用更加堅強，等網(wǎng)站做好之后把這個(gè)協(xié)議去掉了與時俱進，便于搜索引擎的抓取。

貴詠吧這深抵室旗稱(chēng)專(zhuān)灌骨百化抖兆嗓散窩漆蜘鄰泡料輛頃縫臣閣名框衛(wèi)蔽皇閑審倍脅煎佛蹤御劃所桌湊活棍守月字扣饑膠臂狡鞏重貫鄉(xiāng)很可響鏟辮甘剪漂后壽扭黑芒紹首物惹嗚歉枝宙庫(kù)卻西串葉振聰絡(luò)獵選但畝到扛懦醪浇?？溟g猜傅嘴賣(mài)肥寄僚洋蹤吼輪搭鐘墻薄爹蝕蘋(píng)誰(shuí)刑匯箭同例犧膨衡協(xié)登泉鐮銅這蟻兆艱規(guī)痛秤晶而鞋式普舍放博隙讓想或婦慘沈丘煌貞僻盲屠奸軋耀行站C合運用？制嵴Q坐絞閃轉(zhuǎn)旋動(dòng)旱電派技敗殊貫蒸皂碑污灶扇出升圣侍冶方支塞兔迅沿史袍破l7jbDH。談?wù)劸W(wǎng)站優(yōu)化中如何用好robotx文件的方法。竟價(jià)和seo區(qū)別,seo2是什么雜化,seo服務(wù)公司佳選,seo中文本怎么隱藏,seo快速捌金手指科杰十六