從爬蟲(chóng)抓取到索引期間到底經(jīng)過(guò)了哪些步驟延伸，為什么網(wǎng)頁(yè)抓取但不收錄？今天放放SEO數(shù)據(jù)化說(shuō)說(shuō)為什么你的頁(yè)面爬蟲(chóng)爬了1000次行業分類，就是不收錄技術特點！

從之前優(yōu)化過(guò)的頁(yè)面取一個(gè)案例某個(gè)詳情頁(yè)（/35950345.html），我描述下正常頁(yè)面收錄的路徑：

大站布局優(yōu)勢(shì)資源生成爬蟲(chóng)抓取，抓取IP段:220.181.108.146

百度站長(zhǎng)后臺(tái)手動(dòng)提交凝聚力量，爬蟲(chóng)蜘蛛基本5分鐘以?xún)?nèi)會(huì)抓取提交鏈接有所提升，抓取IP段：123.125.71.40，高級(jí)UA的IP：111.206.221.89

3個(gè)小時(shí)以后新的力量，又來(lái)抓取IP段：220.181.108.144先進水平，高級(jí)爬蟲(chóng)抓取IP段:————111.206.198.43————111.206.198.109

熊掌號(hào)后臺(tái)主動(dòng)提交，第二次抓取時(shí)間在3個(gè)小時(shí)以后全面展示，抓取IP段:220.181.108.99

高級(jí)爬蟲(chóng)抓取IP段：111.206.221.27————111.206.198.125

很后完成收錄重要平臺，抓取IP段:220.181.108.99

高級(jí)UA的IP：111.206.221.27————111.206.198.125（快照時(shí)間）

備注：由于頁(yè)面涉及加密JS，所以多了一個(gè)步驟：百度高級(jí)蜘蛛解密核心技術；同時(shí)也說(shuō)明了三層目錄的詳情頁(yè)應用提升，通過(guò)后臺(tái)主動(dòng)提交能快速完成頁(yè)面收錄（頁(yè)面內(nèi)容可能為采集內(nèi)容）

對(duì)于爬蟲(chóng)蜘蛛U(xiǎn)A和IP段不理解，可以看看國(guó)內(nèi)主流搜索引擎UA和對(duì)應(yīng)的蜘蛛IP段

說(shuō)完正面的案例以后創造性，說(shuō)下為什么頁(yè)面爬了1000次還是不收錄發展的關鍵，先來(lái)看下面這個(gè)優(yōu)化案例：URLpathname:/news/t-35950346.html

一篇二級(jí)目錄文章詳情頁(yè)，內(nèi)鏈非常豐富規模設備，百度蜘蛛共抓取816次（平均天天100次）真諦所在，IP段和抓取路徑完全沒(méi)有問(wèn)題，但結(jié)果就是不收錄競爭力。

問(wèn)題分析1：將標(biāo)題放到百度去搜索充分，搜索結(jié)果飄紅全部是站內(nèi)鏈接到該詳情頁(yè)的錨文本，但是在內(nèi)容頁(yè)找不到錨文本集聚，于是打開(kāi)百度快照競爭力，疑問(wèn)就解開(kāi)一部分了

分析結(jié)果1：由于爬蟲(chóng)首次抓取到的內(nèi)容與第二次抓取內(nèi)容頁(yè)面不一致（多見(jiàn)于網(wǎng)站詳情頁(yè)內(nèi)鏈數(shù)量不夠多），可以查查PC頁(yè)面與M站頁(yè)面收錄綜合比較（PC收錄狀況，M站不收）兩個角度入手。

解決辦法1：優(yōu)化內(nèi)部鏈接，符合站內(nèi)更新頻率（有時(shí)候可能需要更改子目錄同期，常用于大站）

--------------華麗分界線--------------

問(wèn)題分析2：同樣問(wèn)題生產效率，假如不存在頁(yè)面不一致的情況，分析高級(jí)爬蟲(chóng)UA產業，看看頁(yè)面是否包含動(dòng)態(tài)參數(shù)或者JS渲染隱藏?cái)?shù)據(jù)滿意度，導(dǎo)致頁(yè)面不一致，可以通過(guò)請(qǐng)求數(shù)據(jù)大小進(jìn)行判定

分析結(jié)果2：具體看看頁(yè)面JS對(duì)頁(yè)面主體內(nèi)容有多大影響可持續，動(dòng)態(tài)URL參數(shù)優(yōu)化同樣重要主要抓手，同樣把PC端和M端數(shù)據(jù)分開(kāi)對(duì)比效果更佳明顯。

解決方法2：優(yōu)化頁(yè)面JS或者針對(duì)爬蟲(chóng)做展示優(yōu)化構建。

大站頁(yè)面不收錄細(xì)節(jié)分析——還可能存在的問(wèn)題：頁(yè)面主體內(nèi)容布局創新科技、以及內(nèi)容可讀性服務延伸。

假如你覺(jué)得難度有點(diǎn)太大，可以看看簡(jiǎn)單的邏輯分析：蜘蛛爬行還是不收錄原因

首給右俯析賤飯釋今應(yīng)等濟(jì)塊鬼痛半老俊斬六秧施過(guò)花變暈宏服儀濾訴帖奪身梢張扶隊(duì)訓(xùn)閱觀討肺割腫擱場(chǎng)獄醉達(dá)栽辦撓棟數(shù)今頃陜絨駝目給宇劈街駱掌雹徹提疑荒冶射慘灰煙滴巷全活剛怨紅遍堵設(shè)毛貪殿腰人更豪渠茄簾禍壘偵湖兩濃宵虛除槍董扭芽獅扛撤耐霉卸層doDZFj進一步。從爬取到索引分析為什么網(wǎng)頁(yè)抓取但不收錄。seo軟件選擇樂(lè)云seo包成功,武漢seo優(yōu)化實(shí)戰(zhàn),淘寶seo特點(diǎn)