比如下面幾點就對百度蜘蛛講的很透徹也讓人很好理解系統。

抓取的深度和廣度非常重要，錯誤鏈接的抓取，對新站的抓取快速融入。

根據以往觀察幾個新站文章的發(fā)現(xiàn)認為，百度蜘蛛對一個新站一般會在第一天會瘋狂抓取，然后會沉寂一段時間增強，而谷歌蜘蛛比較老實重要意義，喜歡按部就班一點一點來，越來越多更加廣闊。記得6月15號那天掛上去后不到一小時百度收錄首頁規劃，并且瘋狂抓取5500次，后來第二天就開始在爆發(fā)中沉默可以使用，而谷歌在開始時候抓取的很少基礎上，慢慢越來越多。經硲妙I域？吹胶芏嗳司W站上線第一天看到百度大量抓取感覺很驚訝保持競爭優勢，覺得是自己網站權重高，然后第二天開始發展機遇，蜘蛛直接來個1800度調整長效機製，每天就稍微來看一下，然后就變得很郁悶全技術方案，會覺得是百度不喜歡自己的站了分享，其實并不是這樣，因為這是百度蜘蛛的特點信息化。