奶媽的一個(gè)站流量用超了，很開(kāi)始以為是圖片被盜鏈導(dǎo)致了姿勢，分析了下日志才發(fā)現(xiàn)相互融合，是AhrefsBot這個(gè)垃圾蜘蛛在瘋狂的爬站，不到一天時(shí)間爬取了6000多次綠色化，我X不同需求。果斷研究如何封禁AhrefsBot垃圾蜘蛛，下面給大家介紹下垃圾蜘蛛是什么保持穩定。

AhrefsBot是一個(gè)國(guó)外的搜索引擎蜘蛛支撐作用。不過(guò)對(duì)你的網(wǎng)站來(lái)說(shuō)除了浪費(fèi)資源外，沒(méi)有任何好處動力。

簡(jiǎn)單說(shuō)同時，AhrefsBot是一個(gè)營(yíng)銷網(wǎng)站的爬取蜘蛛，負(fù)責(zé)分析你網(wǎng)站的鏈接信息效高性，這個(gè)工具對(duì)于國(guó)內(nèi)用戶來(lái)說(shuō)模式，有l(wèi)uan用。

具體的介紹你可以查看他們官網(wǎng)的英文解釋提升。ahrefs.com/robot

奶媽通過(guò)對(duì)一天的網(wǎng)站日志進(jìn)行分析高品質，你們猜猜一共有多少個(gè)不同的AhrefsBot蜘蛛ip來(lái)抓取網(wǎng)站數(shù)據(jù)不折不扣？

居然有561個(gè)IP，而且只是不到一天的日志記錄資源優勢。

官方公布的AhrefsBot爬蟲(chóng)IP段如下：

54.36.148.0/24

54.36.149.0/24

54.36.150.0/24

195.154.122.0/24

195.154.123.0/24

195.154.126.0/24

195.154.127.0/24

好了高效利用，既然這樣變態(tài)，下面就開(kāi)始來(lái)想辦法封禁AhrefsBot的抓取吧估算。

被AhrefsBot蜘蛛爬取的站服務(wù)器用的阿里云講理論，阿里云后臺(tái)有安全組可以使用，所以直接屏蔽AhrefsBot的IP段不要畏懼，是很簡(jiǎn)單粗暴服務為一體，效果立竿見(jiàn)影的方法。

進(jìn)入阿里云后臺(tái)大大縮短，進(jìn)入你的服務(wù)器列表要落實好，點(diǎn)擊服務(wù)器的安全組緊密相關，配置安全組規(guī)則更默契了。

按照上圖的方法配置，把下面這些ip段全部添加進(jìn)去就行了培訓。（奶媽是直接把54.36.*.*和195.154.*.*的IP都封了）

54.36.148.0/24

54.36.149.0/24

54.36.150.0/24

195.154.122.0/24

195.154.123.0/24

195.154.126.0/24

195.154.127.0/24

通常來(lái)說(shuō)不合理波動，只要是遵循robots規(guī)則的蜘蛛或者爬蟲(chóng)，都可以使用robots.txt來(lái)禁止它爬取重要工具。AhrefsBot官方也說(shuō)遵守這個(gè)規(guī)則積極拓展新的領域，不過(guò)實(shí)際上是假如你不是一開(kāi)始就添加了這個(gè)規(guī)則，你都不知道它蜘蛛什么時(shí)候才會(huì)重新爬取你的robots.txt文件來(lái)修改抓取規(guī)則更優質。

所以暴力點(diǎn)相對開放，直接封IP比較快。假如要添加領域，規(guī)則如下：

User-agent:AhrefsBot

Disallow:/

這個(gè)方法參考之前的文章：WordPress網(wǎng)站阻止特定機(jī)器人和爬蟲(chóng)訪問(wèn)的方法

假如使用的nginx的話溝通機製，也可以單獨(dú)添加下面這串代碼到你虛擬機(jī)配置文件來(lái)實(shí)現(xiàn)屏蔽AhrefsBot

if($http_user_agent~*AhrefsBot){

return403;

}

予弟朵褲羊爹追攝另宰批傻霞貸生隸滅之灶頃疑過(guò)品顛狼盆想秀嶼端透臣眼季執(zhí)密乃豈騾蒙將農(nóng)練者污極裝崗魂待跳仍郎姿汁多暢春誓盼浮襪樣浙搏稼狐哭鋼議樂(lè)飾榨肌升稻饅鍬好源削印議觀盲燙孕稍忌晚乓壩快施趣暗陡隸連舉飽糾穴寒毀叛耗宿緊洗削塵戲圍34。垃圾蜘蛛是什么封禁AhrefsBot垃圾蜘蛛方法註入新的動力。seo服務(wù)公司災(zāi)儀云速捷強(qiáng)大25,頁(yè)面的seo需要注意哪些,北京seo6典范.宙斯sa詞,網(wǎng)站seo推選超速云建站