有不少站長遇到網(wǎng)站攻擊了,就習(xí)慣性的去屏蔽IP地址,尤其是訪問量比較大的網(wǎng)站,更是如此。但是你知道IP屏蔽,會為網(wǎng)站帶來的苦果嗎?今天就用一個實際的例子來看一下。
筆者這里近期診斷了一個千萬級別收錄的網(wǎng)站,在診斷后的3天,收錄突然暴增300W。但是,這些收錄的增加真的是好事情嗎?第二天,網(wǎng)站的流量下降了2W-3W,原因是什么呢?收錄的鏈接,全部都是robots.txt已經(jīng)屏蔽了的動態(tài)鏈接。
百度蜘蛛不遵循robots.txt協(xié)議嗎?
常有站長說,百度蜘蛛不遵循robots.txt,屏蔽了的內(nèi)容弄還是去抓取。事實上不排除偶有這樣的例子,但是基本上重新更新robots.txt就會得到解決。那么解決不了,還會是什么原因造成的呢?今天,我這里就透露一個小的秘密:網(wǎng)站有robots.txt,但是蜘蛛訪問不到robots.txt文件,你信嘛?
或者說,第一次檢測更新可以實現(xiàn)正確的更新,但是繼續(xù)點擊更新就又失敗了,繼續(xù)點擊的話,還是這樣的反復(fù),讓人摸不到一點規(guī)律,百度只是反復(fù)的提示403錯誤。最終是怎么解決的呢?就像開頭標(biāo)題說的一樣:IP屏蔽錯誤,導(dǎo)致了蜘蛛無法識別robots.txt,你的網(wǎng)站是否也犯過這樣的錯誤呢?如果你進(jìn)行了IP地址的屏蔽,請檢查一下是否包含了
如:123.125.68.* 220.181.68.* 220.181.7.* 123.125.66.* 121.14.89.* 203.208.60.* 210.72.225.* 125.90.88.* 220.181.108.* 123.125.71.* 59.226.50.* 25.90.88.* 61.135.162.*
上述IP為網(wǎng)絡(luò)其他資源查找,如有不完善的地方,相關(guān)朋友可以聯(lián)系我進(jìn)行添加,也為更多的站長指路。
網(wǎng)站適合大量的屏蔽IP段嗎?
除了上面的這些IP段,其他的IP就可以隨意的屏蔽了嗎?友情提示:如果確定某個具體的IP在持續(xù)攻擊,建議進(jìn)行屏蔽,如果是泛濫類型的,屏蔽也沒有效果,一不小心,還會屏蔽了更多的蜘蛛,如360的好搜:
101.226.166.* 101.226.167.* 101.226.168.* 101.226.169.* 182.118.20.* 182.118.21.* 182.118.22.* 182.118.25.* 182.118.35.* 61.55.185.* 180.153.236.* 182.118.26.110 ~ 182.118.26.239
上面為官方公布的IP段數(shù)據(jù),如果站點有屏蔽,一定要注意了,另外還有有更多的如神馬搜索等一系列的搜索引擎,雖然占比都不如百度,但是任何一款搜索引擎,排名若達(dá)到的足夠高了,流量同樣是不容忽視的!
那么,遇到攻擊不做IP屏蔽要怎么解決呢?紅橘子博客(賀貴江)推薦的是:阿里云CDN、騰訊云CDN、百度云加速,都是可以解決的。順便說一下,騰訊云現(xiàn)在還有半年的新手試用,不過阿里云的品質(zhì),也是眾人皆知的,百度嘛?前幾個月不是很穩(wěn)定,現(xiàn)在還好。
網(wǎng)站信息不收錄,排名低,網(wǎng)站被降權(quán)?各種問題皆有可能,如果你不只是玩玩而已,或者多勤奮好讀,或者交給我們來做SEO診斷:,相信你會受益匪淺,SEO?A5更專業(yè)!想了解我嗎?百度一下。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!