SEO天天都是搜索引擎推出的小型機(jī)器人，也稱為搜索引擎蜘蛛不要畏懼。我們要做的就是為他們服務(wù)并為他們投票服務為一體。

首先，列出主要搜索引擎蜘蛛的名稱

谷歌蜘蛛：googlebot逐漸顯現，百度蜘蛛：baiduspider全會精神，搜狗蜘蛛：搜狗蜘蛛，搜索蜘蛛：Sosospider拓展基地，雅虎蜘蛛：slurp集中展示，alexa蜘蛛：ia_archiver，msn蜘蛛：msnbot體系流動性，altavista蜘蛛：滑板車探索創新，lycos蜘蛛：lycos_spider_（t-rex），alltheweb蜘蛛：fast-webcrawler實現了超越，inktomi蜘蛛：slurp新產品，蜘蛛：YodaoBot和OutfoxBot，熱土蜘蛛：Adminrtspider橋梁作用。當(dāng)然推進高水平，這只是一個(gè)象征性的清單。即使我們查看日志拓展應用，也不要太驚異，或者您可以禁止他們抓取您的網(wǎng)站結構。

其次管理，一句話總結(jié)了蜘蛛的習(xí)慣

谷歌蜘蛛：不太喜歡爬，但喜歡包括雙重提升。

百度蜘蛛：小心謹(jǐn)慎戰略布局，更加謹(jǐn)慎。

索索蜘蛛：喜歡爬圖片，經(jīng)常圍繞動(dòng)態(tài)地址無(wú)法出來(lái)狀態。

YahooSpider：保留規(guī)則技術節能，首先抓取robots.txt。

其他人不太關(guān)注廣泛認同，所以我不會(huì)多說(shuō)國際要求。

三，對(duì)robots.txt的支持程度

所有分析都可能不現(xiàn)實(shí)鍛造。在此處取消禁止:/*競爭激烈？*分析（禁止動(dòng)態(tài)頁(yè)面抓取）改善。

谷歌表現(xiàn)：寫(xiě)禁令空白區，不再攀登，將在谷歌網(wǎng)站治理員工具中列出信息化，它想要攀登被你阻擋形勢，如下圖所示：

百度的表現(xiàn)：寫(xiě)禁令后很少攀登，但偶然也會(huì)攀升取得明顯成效。我相信它正在發(fā)揮作用約定管轄，因?yàn)樗絹?lái)越少了。搜狗蜘蛛：可以說(shuō)它基本上是不聽(tīng)話的設計，我不知道我是不是不吃這個(gè)規(guī)則業務指導。我說(shuō)根本就沒(méi)吃它。它只是拿走了動(dòng)態(tài)地址的問(wèn)號(hào)就此掀開，然后爬上去了長足發展。這是一大塊。這不知道它可以爬出來(lái)穩步前行，如下所示：

猜您喜歡