當(dāng)前位置:首頁(yè) >  站長(zhǎng) >  搜索優(yōu)化 >  正文

網(wǎng)站robots文件沒(méi)做好帶來(lái)的影響不可小視

 2019-10-12 17:22  來(lái)源: A5用戶投稿   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

網(wǎng)站優(yōu)化過(guò)程非常容易忽視的一個(gè)就是robots文件,因?yàn)槿绻W(wǎng)站徹底不做robots文件好像也沒(méi)有多大影響,但不做好這個(gè)文件,引起的問(wèn)題可不能小視。

什么是robots文件?簡(jiǎn)單的說(shuō)就是告訴搜索引擎哪些是你能抓取的哪些是你不能碰的,哪個(gè)蜘蛛可以進(jìn)來(lái)哪個(gè)不能進(jìn)來(lái),做好了robots文件有以下幾點(diǎn)好處:節(jié)省服務(wù)器資源,避免不必要的抓取;像有客戶資料的私密信息不會(huì)泄露;讓蜘蛛爬取的更加順利方便,增加搜索引擎的友好度等等。

一、robots文件看法

想要看別人網(wǎng)站的robots文件,直接在網(wǎng)址欄輸入:http://www.域名.com/robots.txt,比如你想看A5的robots文件就可以輸入:http://m.babqa.cn/robots.txt

二、robots文件寫法

這個(gè)在網(wǎng)上有大量的教程,本人的表達(dá)能力也比較欠佳,就不再贅述了。建議還是參照百度站長(zhǎng)平臺(tái)的資訊更加簡(jiǎn)單易懂一點(diǎn)。

三、如果robots文件出現(xiàn)了問(wèn)題導(dǎo)致網(wǎng)站數(shù)據(jù)出現(xiàn)嚴(yán)重問(wèn)題怎么辦

robots文件對(duì)于稍稍有點(diǎn)規(guī)模的網(wǎng)站都是不可或缺的,很多不必要的搜索引擎的蜘蛛那就沒(méi)有必要讓它們爬取來(lái)占取資源,這時(shí)靠robots封禁,如果網(wǎng)站出現(xiàn)了嚴(yán)重的數(shù)據(jù)波動(dòng),比如收錄索引全部掉完,排名全部下降,若網(wǎng)站沒(méi)有出現(xiàn)其他問(wèn)題正常優(yōu)化的情況下,首先就要檢查robots文件,這時(shí)也不要慌,筆者整理了方法,供大家參考使用。

1.修改Robots封禁為允許,然后到百度站長(zhǎng)后臺(tái)檢測(cè)并更新Robots。

2.在百度站長(zhǎng)后臺(tái)抓取檢測(cè),此時(shí)顯示抓取失敗,沒(méi)關(guān)系,多點(diǎn)擊抓取幾次,觸發(fā)蜘蛛抓取站點(diǎn)。

3.在百度站長(zhǎng)后臺(tái)抓取頻次,申請(qǐng)抓取頻次上調(diào)。

4.百度反饋中心,反饋是因?yàn)檎`操作導(dǎo)致了這種情況的發(fā)生。

5.百度站長(zhǎng)后臺(tái)鏈接提交處,設(shè)置數(shù)據(jù)主動(dòng)推送(實(shí)時(shí))。

6.更新sitemap網(wǎng)站地圖,重新提交百度,每天手工提交一次。

以上處理完,接下來(lái)就是等待了,基本5天內(nèi)就能回到正常狀態(tài)!在最后筆者還是建議大家要好好做好網(wǎng)站的robots文件,因?yàn)楹锰幨怯心抗捕玫?,放在根目錄下就可以了,?dāng)然,還可以在robots文件中放上網(wǎng)站的sitemap,對(duì)蜘蛛的爬取很有好處。

筆者:在職考研招生信息網(wǎng)www.eduzzyjs.com,轉(zhuǎn)載請(qǐng)附上鏈接

友情提示:A5官方SEO服務(wù),為您提供權(quán)威網(wǎng)站優(yōu)化解決方案,快速解決網(wǎng)站流量異常,排名異常,網(wǎng)站排名無(wú)法突破瓶頸等服務(wù):http://www.admin5.cn/seo/zhenduan/

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
robots文件
robots

相關(guān)文章

  • robots協(xié)議怎么寫 作用是什么?

    robots協(xié)議也叫robots.txt(統(tǒng)一小寫)是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件,它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器(又稱網(wǎng)絡(luò)蜘蛛),此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的,哪些是可以被漫游器獲取的。

    標(biāo)簽:
    robots
  • robots具體應(yīng)該禁止些什么文件

    今天大概總結(jié)一下:首先說(shuō)明一點(diǎn):每天百度派出的蜘蛛是有限的,robots寫出來(lái)是為了節(jié)省蜘蛛資源讓蜘蛛能更快的進(jìn)行有效爬取和收錄!

  • robots文件編寫秘籍 新手必看

    當(dāng)我們的網(wǎng)站上線之后,一定會(huì)有一些不想讓百度抓取的頁(yè)面、文件,針對(duì)這種問(wèn)題,我們就要使用協(xié)議去屏蔽。那么這個(gè)協(xié)議是什么?究竟怎么寫這個(gè)協(xié)議呢?

    標(biāo)簽:
    robots文件
    robots
  • robots.txt文件怎么寫才正確呢?

    曾慶平SEO在前面的文章中講過(guò)robots.txt概念的時(shí)候,留下一個(gè)問(wèn)題:為什么曾慶平SEO的robots.txt寫得那么復(fù)雜?曾慶平SEO的robots.txt:http://www.xxx.com/robots.txt這樣做的目的是,讓搜索引擎看來(lái)網(wǎng)站更規(guī)范和權(quán)威。

  • 百度站長(zhǎng)平臺(tái)檢測(cè)robots.txt 提示301錯(cuò)誤代碼 怎么解決

    如果以上都沒(méi)有錯(cuò)誤,那么你就要檢查你的CDN了,很可能是因?yàn)镃DN緩存而造成的,或者是你配置了https,而站長(zhǎng)平臺(tái)卻綁定的http,無(wú)法訪問(wèn),這兩點(diǎn)自己排查,如果以上都做到,那么是不會(huì)提示這類錯(cuò)誤的,當(dāng)然也不排查百度站長(zhǎng)平臺(tái)本身的問(wèn)題,不過(guò)這種機(jī)率性很小。

熱門排行

信息推薦