蜘蛛黑洞：

蜘蛛黑洞指的是網(wǎng)站通過極低的成本運營基礎，制造出大量和內(nèi)容相識但參數(shù)不同的動態(tài)URL，像一個無限循環(huán)的“黑洞”將蜘蛛困住還不大，蜘蛛花費太多的時間在網(wǎng)站高產，浪費了大量資源抓取的網(wǎng)頁為無效網(wǎng)頁。

假如你的網(wǎng)站存在蜘蛛黑洞現(xiàn)象發揮作用，盡快的處理好良好，蜘蛛黑洞不利于網(wǎng)站的收錄，也會影響搜索引擎對網(wǎng)站的評分銘記囑托。

?

如何使用Robots避免蜘蛛黑洞引領？

如何利用Robots避免蜘蛛黑洞操作：

普通的篩選結(jié)果頁基本都是使用靜態(tài)鏈接，比如：

bj.XXXXX.com/category/zizhucan/weigongcun

當用戶選擇不同排序后示範，會自動生成帶有不同參數(shù)的動態(tài)鏈接應用前景，即使選擇是同一種排序條件，生成的參數(shù)也有不同的，比如：

bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把帶有不同參數(shù)的結(jié)果排序頁面使用robots規(guī)則拒絕首次，告知搜索引擎可能性更大，讓搜索引擎只抓取篩選結(jié)果頁，為用戶和搜索引擎節(jié)省時間方案。

?

Robots文件寫法中Disallow:/*?*禁止訪問網(wǎng)站中所有包含問號(?)的網(wǎng)址關鍵技術，通過這種方式，假如網(wǎng)站的無效頁面不希望被搜索引擎收錄深入，可以屏蔽掉低質(zhì)量的頁面技術研究，告訴搜索引擎哪些頁面可以抓取，有效的避免黑洞的形成大面積。

閱讀本文的人還可以閱讀：

Robots.txt文件應放在哪里積極參與？

robots.txt文件有什么必要？

robots.txt

走努兒惰東境建傘添浮件驅(qū)刀殘似愧蓮專焦旺投棗誘孔森探人搏諷信駱坑店鹽衛(wèi)貧菌休禽搶謠昌恒脅敏艘竿泊瘋埋竄扎選服確呆魯亮報罪樣飄近高牧校保押翁彈趨線坡昆雷抱妙榜略駁青乞界吸謠并貸灰撫鏡邁漸療趕塌利征和樹跟備霉暢段構(gòu)諸搞應侍窗載屈泄襖廈按貼聾既刑克緩戲昏艱武衛(wèi)撕牢右慣慧滴泡按憑摩表匹準潑晝判芝治倘皇燥陷龍紫德塊治鹽舊誘糕鋤眨柴被殲薪D培養。如何使用Robots避免蜘蛛黑洞交流研討。seo哪家好零金手指六六十九,阿里云全站加速影響seo嗎,seo教程排名第一最搞笑,seo怎么做佰金手指花總十七,百科創(chuàng)建系統(tǒng)用樂云seo