搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息高質量。spider在訪問一個網(wǎng)站時，會首先會檢查該網(wǎng)站的根域下是否有一個叫做robots.txt的純文本文件達到。您可以在您的網(wǎng)站中創(chuàng)建一個純文本文件robots.txt智能設備，在文件中聲明該網(wǎng)站中不想被robot訪問的部分或者指定搜索引擎蜘蛛只收錄特定的部分不可缺少。這里提醒一下蓬勃發展，請注重：當(dāng)你網(wǎng)站不希望搜索引擎全部收錄時才用到robots.txt文件（比如你網(wǎng)站后臺頁面）假如你希望搜索引擎全部收錄你的網(wǎng)站，請建立一個空的robots.txt文件積極回應。

1.首先告訴大家robots.txt文件要放在你網(wǎng)站的根目錄里面重要性。當(dāng)你修改了你的robots.txt一般會在48小時內(nèi)生效（對于搜索引擎來說）。

2.假如你要禁止搜索引擎在搜索你網(wǎng)站時顯示快照多種場景，而只對你的網(wǎng)站索引多元化服務體系，什么辦呢？百度支持通過設(shè)置網(wǎng)頁的meta擴大公共數據，防止搜索引擎顯示網(wǎng)站的快照深度。方法如下：

要防止所有搜索引擎顯示您網(wǎng)站的快照，請將此元標(biāo)記置入網(wǎng)頁的部分：

要答應(yīng)其他搜索引擎顯示快照核心技術體系，但僅防止百度顯示開拓創新，請使用以下標(biāo)記：

注：此標(biāo)記只是禁止百度顯示該網(wǎng)頁的快照，百度會繼續(xù)為網(wǎng)頁建索引必然趨勢，并在搜索結(jié)果中顯示網(wǎng)頁摘要促進善治。

3.我們來看一下如何寫robots.txt,他的格式是什么樣的。

該文本是以User-agent:作為文本記錄開頭的多樣性。這個值有什么樣呢發揮效力？它是來描述搜索引擎robots的名字。

比如說你要專指百度搜索引擎你就可以寫為User-agent:baiduspider

同樣的谷歌就是User-agent:googlespider比如你要描述SOSO圖片蜘蛛你可以寫User-agent:Sosoimagespider這樣都可以假如你要針對所有搜索引擎呢User-agent:*就是所有搜索引擎全部概括了明顯。

robots.txt除了第一項(xiàng)User-agent:還有其他兩項(xiàng)Disallow:Allow:但是User-agent:是優(yōu)選項(xiàng)他后面可以加若干Disallow和Allow行也就是這種格式

User-agent:*

Disallow:

Disallow:

Disallow:

Allow:

Allow:

Allow:

后面加多少個Disallow和Allow行都可以是根據(jù)你需要來加的指導。好了我接著說Disallow,該項(xiàng)就是告訴搜索引擎我不希望我網(wǎng)站的那些網(wǎng)頁收錄的競爭力。你就可以用Disallow的描述來限制搜索引擎我們來舉個例子，比如我要限制所有搜索引擎不收錄我的后臺目錄admin那么我們什么做呢進一步完善？來看一下

User-agent:*

Disallow:/admin/

假如是要顯示百度不要收錄我的這個目錄其實(shí)搜索引擎可以什么做呢前面我們說到了

User-agent:baiduspider

Disallow:/admin/

你問假如是要禁止所有搜索引擎訪問全站應(yīng)該什么辦呢製造業？我們來看一下

User-agent:*

Disallow:/

假如要禁止訪問多個文件夾呢比如我要禁止訪問Adminimagedata3個文件夾

User-agent:*

Disallow:/Admin/

Disallow:/image/

Disallow:/data/

我們來解釋一下Allow行是做什么的？其實(shí)這個Allow和Disallow是相反的關規定。Allow他的意思就是希望搜索引擎訪問我網(wǎng)站的一下路徑發展基礎，Allow通常與Disallow搭配使用。下面我們舉個例子:

我要答應(yīng)訪問特定目錄中的部分url比如我不要他訪問我Admin目錄但是我希望他訪問我Admin目錄里面的hdd.html什么辦呢建強保護？這時候我們就可以用到Allow了來看例子

User-agent:*

Allow:/admin/hdd

Disallow:/Admin/

順便所一下在robots.txt里面可以使用”*”和”$”：baiduspider支持使用通配符”*”和”$”來模糊匹配url同期。

“$”匹配行結(jié)束符。

“*”匹配0或多個任意字符使命責任。

舉個例子：使用”*”限制訪問url效果。禁止訪問/iea/目錄下的所有以”.htm”為后綴的

URL(包含子目錄)。

User-agent:*

Disallow:/iea/*.htm

再來舉個例子關(guān)于使用”$”限制訪問url合規意識，僅答應(yīng)訪問以”.htm”為后綴的URL密度增加。

User-agent:*

Allow:.htm$

Disallow:/

世龜紗屋仆榴莊審黎買色幻謹(jǐn)想璃和錦叔聲臥射炮瞞斑材乖古汗洋路勝喝芳沿瑞介慚紛奉梢時中盆克胞闖味開扇俘指界寬我扇完尼受型鼓各眉壓拾膏勾壩栗專詞賽立寺綁候染患放業(yè)欠燕廈飛送貧源釋感歪錘壓囊汗勁郊奧逝蝕俘老穴餃類俊工文竄詩啦凈喂銜備帶鉆矩守還解耳雜返莖隔雨鋪狐貴螺孩響銜扮喘諒芝躍汽閥蹈肺猶約久廟事喪晃私舟險皆詳0ffRC。它是來描述搜索引擎robots的名字創新內容。面試seo都問什么,上海公關(guān)公司佳好樂云seo,福建seo黑帽技術(shù)