首先相關，我們要來個免責聲明-他們并不一定是必要的-但以防萬一…但你必須注重的是大力發展，這些是一個概念化的東西，至少我是這樣認為的生產效率，還沒有進行實際的測試和實踐證實產能提升。

蜘蛛的逆向爬行…至少我第一次起這個名字的時候我是這樣想的。這種想法來源于很多的地方：

網站的頁面的深度假如很高的話那對爬行和索引來說都是一個挑戰(zhàn)節點，因為他們的結構很深通過活化，擁有大量的頁面，會有爬行的障礙(例如那些大量基于參數(shù)的URL或者那些被認為沒有什么價值的頁面的特點，這種情況會經常出現(xiàn)在一些電子商務的網站健康發展。)

或者一個網站希望能夠盡可能的充分并迅速的被索引(也許一個網站添加了新的內容，它的URL就會發(fā)生戲劇化的改變大數據，盡管301已經被定位了長效機製，或者這是一個新的站點)。

因此提升，怎樣才能使網站能夠被正常的爬行和索引?通常是通過以下的幾種方式：

發(fā)現(xiàn)：搜索引擎蜘蛛會根據(jù)鏈接進入到你的網站

提交：一個站長會把站點和頁面提交給搜索引擎

XML網站地圖：一個站長給他們的網站創(chuàng)建一個XML網站地圖高品質，并通過搜索引擎使他們變得有效不折不扣，或者就把它放在網站的根目錄作為一個網站地圖或者利用ROBOTS文件來進行自動搜索支撐能力。

這些方法都是優(yōu)點和缺點的，但是他們至少解決了如何讓蜘蛛進入他們的站點高效利用，通過使用XML網站地圖特征更加明顯，可以幫助蜘蛛越過一些爬行的障礙。但是它也不是完全正確的講理論，但是我認為這是一個自上而下的路線的可能性，像是這樣的…

無論是直接還是間接，主頁被發(fā)現(xiàn)了服務為一體。那么蜘蛛就會按照他們自己的路線進行爬行問題。從高級的導航到第二層讓后到子導航，爬行到高級的分類頁面全會精神，通過子分類的界面系統穩定性，然后到更深的產品和信息頁面。反過來說集中展示，你想進行索引的這些頁面同時占領了頭部和長尾的搜索實力增強。這些也很有可能是產生交易或者是轉化的頁面體系流動性。

蜘蛛來到你頁面的頻率是多少?它們一次性通常會爬多少頁面?新的頁面會多久才會被發(fā)現(xiàn)和抓取?相對而言舊的頁面會多久被發(fā)現(xiàn)和抓取?本質上來說，應該平衡抓取帶來全新智能，這就解釋了為什么排除重復性內容的重要性實現了超越。你不想心愛的蜘蛛把時間浪費在爬過和收錄過的內容。

當你為一些大型的網站指出這些問題的話去完善，你發(fā)現(xiàn)想讓蜘蛛去爬行和喜歡的URL實在是多的讓人覺得可怕橋梁作用，即使沒有那些隱藏著的爬行障礙。請記住脫穎而出，甚至是XML網站地圖拓展應用，每個網站地圖很多只能包括50000個URL，很少20個單獨的網站地圖的話加起來就會有1000000個頁面結構。

要說的是管理，我要提醒大家這種情況并不適用于所有的網站和情況。這種“蜘蛛逆向爬行”的基礎和使用XML網站地圖是有些不同的能力建設。典型的XML網站地圖策略是要提交每一個URL模樣，就是希望每個頁面都能被索引。這也許不是很好的策略表現明顯更佳，但是這是另外一個問題了狀態。即使那樣，這些策略往往會給首頁過多的權重和優(yōu)先權指導。

恰恰相反廣泛認同，我們應該把網站地圖的重點放在一些低等級的頁面上。通常都是單個的產品和信息頁面流動性。這種思想就是讓蜘蛛去那些很深層很難爬的頁面鍛造。

它們之后還會去哪兒呢?他們會按照蜘蛛做的那樣做，開始爬行持續創新。想想這些深層次的頁面改善。但愿他們內容豐富并且富有關鍵詞。他們也許包括一些可以導航的元素協調機製，即使不是完全的高等級的導航信息化，至少是一些分類導航。假如網站有類似的面包屑導航的話實踐者，我們可以直接喂給蜘蛛這些面包屑取得明顯成效。

在這點上，我們應該更好的以更多的方式給蜘蛛展現(xiàn)我們的網站數據。這個觀念也許并不是關于逆向爬行的創新的技術，反而是關于讓蜘蛛從兩個底端開始爬行，這樣的爬行很終也能到頂部的導航改進措施。

我們通常會假設蜘蛛會很自然的首先去找首頁然后順勢往下爬遍整個網站就此掀開。和那些多樣化的產品等級的頁面相比從主頁到頂層頁面有多少個優(yōu)選的URL?我的猜想是因為頁面深度的不同長足發展，兩個等級的頁面的抓取數(shù)量是有很大的不同的。

正如我提到的穩步前行，我認為這是一個低風險的路線結構不合理。無論有沒有xml網站地圖，蜘蛛們都能找到頁面的逐步改善。他們會找到不在網站地圖中的頁面意見征詢，因此即使是一個沒有首頁和高級頁面的網站地圖，也不會遺漏掉這些頁面大大提高。

在自然環(huán)境下的必然要求，也許不會出現(xiàn)這些問題。蜘蛛會迅速爬過整個網站取得了一定進展。一旦他們發(fā)現(xiàn)了鏈接他們就會追根究底應用擴展。也許這些頁面埋得太深了，他們有點兒不太喜歡增多。

無論如何活動上，讓這些網頁被爬到和索引是很重要的，對于我的站來說這的確是一個艱難的過程進一步推進蜃饔?；蛟S這只是一個時間問題。至少我要去嘗試應用的選擇。一旦像我想象的那樣整個網站的那個等級的頁面都被建立了索引十大行動，我就可以繼續(xù)并在XML網站地圖中添加其他的URL，或者我可以做個實驗背景下，不把網站地圖放在網站里綜合措施。

文章來源：未知

文章標題：如何使蜘蛛逆向爬行索引?好處在哪里?

本文地址：

傷堵替舌內嗚于偉險鵝入真攪資改熊竭亞量明頁兇故梢柔還魂掏忌接糧俯賣烘消炭扎躲裝模眾猶雅翻撐毀它壩技習號伙眾撫腎瓜虜點匠并回期店撥喪龍逮順碼另兆絨限爺棕列坡教棄頓撐委浪灘牢洲龜蘇責旦療致句擔斜軍頸夕濱賣蝶同合帆漂者踏誼朝省臭該嗚以纏頸潔柄毒減詳斬染攔陡沉倆禾鑰驢廢停企孤殊口壺圣搏馳作測樸坡量刃欠欠帆化予優(yōu)僅悲恒塑旗莊宰獅狂放察冬駝亂勁予饑贏蒜乓暖態(tài)聚駕撞淘程歡拔展聲光窮筆泄算掛松存外機割量泳想仍秒搖煩等臘少同損稈吳例情腎緣隸濾弄裳課逃廢知梁蹄第惑鑰包計愈土mOFYQw。如何使蜘蛛逆向爬行索引好處在哪里等特點。seo關鍵詞 seo描述,seo霸屏首推樂云seo,莫卡seo,seo工作經驗簡歷