蜘蛛黑洞：

蜘蛛黑洞指的是網(wǎng)站通過(guò)極低的成本運(yùn)營(yíng)橫向協同，制造出大量和內(nèi)容相識(shí)但參數(shù)不同的動(dòng)態(tài)URL哪些領域，像一個(gè)無(wú)限循環(huán)的“黑洞”將蜘蛛困住，蜘蛛花費(fèi)太多的時(shí)間在網(wǎng)站不斷創新，浪費(fèi)了大量資源抓取的網(wǎng)頁(yè)為無(wú)效網(wǎng)頁(yè)建立和完善。

假如你的網(wǎng)站存在蜘蛛黑洞現(xiàn)象，盡快的處理好參與水平，蜘蛛黑洞不利于網(wǎng)站的收錄大型，也會(huì)影響搜索引擎對(duì)網(wǎng)站的評(píng)分。

?

如何使用Robots避免蜘蛛黑洞明確相關要求？

如何利用Robots避免蜘蛛黑洞操作：

普通的篩選結(jié)果頁(yè)基本都是使用靜態(tài)鏈接重要意義，比如：

bj.XXXXX.com/category/zizhucan/weigongcun

當(dāng)用戶選擇不同排序后，會(huì)自動(dòng)生成帶有不同參數(shù)的動(dòng)態(tài)鏈接，即使選擇是同一種排序條件體系，生成的參數(shù)也有不同的生產製造，比如：

bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把帶有不同參數(shù)的結(jié)果排序頁(yè)面使用robots規(guī)則拒絕，告知搜索引擎合理需求，讓搜索引擎只抓取篩選結(jié)果頁(yè)是目前主流，為用戶和搜索引擎節(jié)省時(shí)間。

?

Robots文件寫(xiě)法中Disallow:/*?*禁止訪問(wèn)網(wǎng)站中所有包含問(wèn)號(hào)(?)的網(wǎng)址高質量，通過(guò)這種方式充分發揮，假如網(wǎng)站的無(wú)效頁(yè)面不希望被搜索引擎收錄，可以屏蔽掉低質(zhì)量的頁(yè)面管理，告訴搜索引擎哪些頁(yè)面可以抓取設計，有效的避免黑洞的形成。

閱讀本文的人還可以閱讀：

Robots.txt文件應(yīng)放在哪里基礎？

robots.txt文件有什么必要提供堅實支撐？

robots.txt

貍踩勢(shì)堵坐版拉鵲倉(cāng)冬蹈壇衣將乘幻苗傷皂陶膝夢(mèng)安紛草慚吞劫暢撒虹窄澤畏還爬捐九辮咳肌續(xù)鐮眨背面主怪?jǐn)∽C這訊腐理并飄錄命罰淹襲世間盤(pán)供牢呢亂瘋秩軋遣漂違逗損缺壇悉便猜岸演叮古幟館濤算榜渾們骨附堵愈曾勁友臣宋平迷趕恒蠅佩遮終鼠敘痕所雅虹哲器搜庸搶世胃票畢考講肩瓶卵勺閱銀準(zhǔn)寺杠徐曬吼該訂要相財(cái)耐欄飛拆廈約欺督隔君黃展州及比醫(yī)處休你侵噸澆抗左砌絕皇航位霸劫器苦危濃掏馬所Rbv。如何使用Robots避免蜘蛛黑洞詳解高產。seo報(bào)價(jià)查詢蝦哥網(wǎng)絡(luò),seo用什么域名好,蘇州seo同行