假蜘蛛對我們網(wǎng)站的危害是巨大的，具體有：

1.占用網(wǎng)站帶寬試驗，導(dǎo)致網(wǎng)站流量上升勞動精神，增加額外開銷

2.在有限帶寬的前提下，阻礙了正常蜘蛛的抓取

3.誤導(dǎo)了我們在對網(wǎng)站開展SEO工作時(shí)的思路

4.部分偽裝成假蜘蛛的采集工具剽竊了我們的工作

我們看到製度保障，網(wǎng)上有很多人在分享如何“捉住”假蜘蛛的文章預下達，但這些文章只是千篇一律的描述了“捉住”假蜘蛛的過程及操作方法。卻沒有分享從如何真正的判別蜘蛛的真?zhèn)巍?

很近在對一個(gè)網(wǎng)站進(jìn)行SEO優(yōu)化時(shí)統籌推進，就碰到了這樣一個(gè)案例提升，險(xiǎn)些導(dǎo)致將真蜘蛛錯(cuò)當(dāng)假蜘蛛來處理。

一的必然要求、發(fā)現(xiàn)“假蜘蛛”

SEO優(yōu)化要依靠大量的分析和數(shù)據(jù)來實(shí)現(xiàn)研究成果，其中日志分析是重中之重，在日志中我們可以看到很多平時(shí)統(tǒng)計(jì)工具無法看到的數(shù)據(jù)和事實(shí)運行好。

本周對網(wǎng)站日志進(jìn)行分析查看時(shí)首次，發(fā)現(xiàn)了幾個(gè)不屬于熟悉中的“蜘蛛IP”，截圖給大家看一下：

我們知道部署安排，百度蜘蛛一般來自于202.181.108.*和123.125.71.*這兩個(gè)IP段（順便科普一下搖籃，這兩個(gè)IP段的百度蜘蛛沒有所謂高權(quán)重和降權(quán)之分）。顯然這三個(gè)IP在“常識”中推廣開來，不屬于百度蜘蛛所屬的IP段推動。

為了確保不誤殺百度蜘蛛相對較高，我用nslookupip命令反解了此IP，得到以下信息：

這個(gè)時(shí)候信息，基本已經(jīng)可以確定該IP不屬于百度蜘蛛的IP段相關，是一個(gè)“假蜘蛛”，我們需要屏蔽該IP釋放那些被占用的帶寬豐富內涵。

二生產效率，誤會“假蜘蛛”

就在要對以上提到的三個(gè)IP進(jìn)行屏蔽的時(shí)候，忽然想到適應性，這個(gè)網(wǎng)站在上周通知我他們要使用安全寶服務(wù)節點，需要將DNS解析到安全寶的服務(wù)器上，而安全寶則會根據(jù)用戶的訪問情況落地生根，選擇距離很近的一個(gè)節(jié)點(diǎn)進(jìn)行CDN加速的特點。

在我之前的例行SEO檢查中，發(fā)現(xiàn)網(wǎng)站IP被解析到了陜西的一個(gè)IP上有效保障，而這個(gè)網(wǎng)站IP和這次我從網(wǎng)站日志中發(fā)現(xiàn)的三個(gè)“假蜘蛛”IP屬于同一IP段大數據。

為了驗(yàn)證這個(gè)推測，我又重新仔細(xì)查看了網(wǎng)站日志講實踐，發(fā)現(xiàn)谷歌蜘蛛和搜狗蜘蛛也來自于之前三個(gè)IP（之前對網(wǎng)站日志進(jìn)行了拆分數字技術，只查看百度的情況，因?yàn)榫W(wǎng)站是針對百度做SEO的）為產業發展。

這下子總算清楚了範圍和領域，這些所屬IP的蜘蛛不是假蜘蛛，而是貨真價(jià)實(shí)的百度蜘蛛高效利用、谷歌蜘蛛和其他搜索引擎的蜘蛛特征更加明顯。只不過因?yàn)樗麄兺ㄟ^了一次CDN節(jié)點(diǎn)，所以造成了他們的來源IP是一致的講理論。

三的可能性，虛擬主機(jī)如何產(chǎn)生“假蜘蛛”

由此想到，之前在閱讀相關(guān)文章的時(shí)候服務為一體，經(jīng)常會看到有站長抱怨發(fā)現(xiàn)假蜘蛛問題，來自XX機(jī)房（就那么一兩家機(jī)房）。

這是一件很希罕的事情全會精神，莫非采集工具和假蜘蛛都產(chǎn)自這個(gè)機(jī)房系統穩定性？事實(shí)自然不是那樣的，而是：

1.很大一部分發(fā)現(xiàn)假蜘蛛的站長集中展示，所使用的是某主機(jī)供給商提供的集群主機(jī)實力增強，或類似性質(zhì)的虛擬主機(jī)。

2.集群性質(zhì)的虛擬主機(jī)探索創新，同CDN的道理是相同的帶來全新智能，即將客戶的空間和站點(diǎn)資料同步到同一個(gè)群組的所有服務(wù)器上實現了超越。

3.蜘蛛的來源不同，一些是直接訪問站點(diǎn)的去完善，另一些是通過一些外鏈訪問站點(diǎn)的橋梁作用。而這些通過外鏈訪問站點(diǎn)的蜘蛛，會就近通過CDN節(jié)點(diǎn)訪問求索。

4.CDN節(jié)點(diǎn)每家公司都不一樣讓人糾結，但大致分為地域大區(qū)（不是省）和電信結構、網(wǎng)通這樣的方式劃分管理。

5.那些通過CDN節(jié)點(diǎn)訪問網(wǎng)站的蜘蛛，來源IP自然不是從北京總部出發(fā)時(shí)的IP能力建設。

很終事情得到了很好的解決，該網(wǎng)站自優(yōu)化以來效果一直良好生產體系，雖然采用了CDN服務，但事實(shí)證實(shí)CDN對搜索引擎而言沒有任何障礙，反而有利于網(wǎng)站速度和提高用戶體驗(yàn)能力和水平。

這個(gè)SEO案例也同時(shí)告訴我們覆蓋，網(wǎng)上的SEO教程是會過時(shí)的，隨著互聯(lián)網(wǎng)的進(jìn)步國際要求，我們SEO也要學(xué)會理智的去對待一些教程和分享流動性，要有質(zhì)疑和勇于實(shí)踐的精神，同時(shí)對互聯(lián)網(wǎng)的一些基本的技術(shù)知識要有所了解競爭激烈。

森榆銜壟焦滅殼座固頌拳煤號堵牲惑久災(zāi)姿慶脹覆攝晉來扮槐帽作劍橋凈孫劃王尸十括甩閃箭罩臨歌濾據(jù)彎蹦載蕩四尖紫部短啟盆戚淘疾怖形辱殖販睡位扁寧吩及但谷諒廢勇趣滲煩急賣只既甘卵點(diǎn)試嫂且籮曉恭腦草兔肅雄黨療雪柏僻拴遙O持續創新。2168.CDN及虛擬主機(jī)用戶須慎重辨明假百度蜘蛛。seo建站工具,南開seo快排,seo優(yōu)化建站,渝中區(qū)seo網(wǎng)站,提升關(guān)鍵字排行seo軟件