當(dāng)前位置:首頁 >  站長 >  建站經(jīng)驗 >  正文

網(wǎng)站上線前把robots寫了所有蜘蛛禁止抓取,取消后還是這樣怎么辦

 2016-08-04 15:36  來源: 用戶投稿   我來投稿 撤稿糾錯

  域名預(yù)訂/競價,好“米”不錯過

不知道有沒有其他站長跟我一樣,技術(shù)部把網(wǎng)站后臺搭建好了,然后網(wǎng)站還是很多東西需要修改的,特別是TDK改了一遍又一遍,但是這時候我沒有去百度站長申請閉站保護,卻是在網(wǎng)站根目錄上傳了robots文件,里面寫著:

User-agent: *

Disallow:/

這表示我的網(wǎng)站禁止所有蜘蛛來抓取,那么這種情況有什么危害呢,蜘蛛來了一次兩次以后都滿頭灰,那么以后光顧的也就越來越少了。原本我是打算禁止2~3天,前端跟美工配合我完成網(wǎng)站的修改,第三天編輯錄入文章就可以的。但是因為美工那里拖了進度,我就沒管先,還是這樣寫。

等網(wǎng)站正式改好之后那是兩個星期后的事情了,當(dāng)天那會我就把robots改了,然后重新提交給百度。而且還加上網(wǎng)站地圖

robots寫法

而因為網(wǎng)站架構(gòu)不錯的原因吧,在上線第二天品牌詞就排在了首頁,但是很明顯的一個是,百度搜索網(wǎng)站品牌詞的時候,顯示出來的只有網(wǎng)站標(biāo)題,其他那些呢,相信大家也猜到了:該網(wǎng)站的robots.txt文件存在限制指令,系統(tǒng)無法提供該頁面的內(nèi)容描述。

百度顯示限制指令

那么預(yù)料到有這種情況怎么辦呢,其實我用robots禁止蜘蛛抓取兩個星期的話不如直接申請閉站保護來的好,但是那會剛好忙其他事情去了,就沒有顧上。那么對于一個草根站長來說遇見這種情況肯定很慌,其實能做的也沒多少,那么我是怎么做的呢。上面也說了,先是做了網(wǎng)站地圖,然后寫在robots上,然后提交到百度站長平臺的sitemap地圖提交,然后把www.exmple.com/robots.txt 主動提交到百度去。跟著就是更新文章,發(fā)布外鏈。新站來說,靠自然更新,保證原創(chuàng),高質(zhì)量外鏈來說,就算天天更新也需要一定時間,但是第二天我就不管了,看下有什么能刺激下百度,然后我去百度找到個方法,這里分享出來給大家看下:

百度提示處理方式

我是弄的,要做一件事情長時間沒有反饋的時候,我選擇的是第四部,去百度反饋中心,反饋是因為誤操作導(dǎo)致了這種情況發(fā)生,寫明我的情況,蜘蛛抓取頻率的下降,然后說明百度沒有抓取我網(wǎng)站內(nèi)容,但是我是對百度開放的,配上三張截圖,都是來源于百度的,這個很重要,證據(jù)來源于百度的話可信度會大大的增加。提交反饋之后,原因我還打算加上一個數(shù)據(jù)主動推送(實時)的,但是百度反饋提醒我兩分鐘就會有結(jié)果,我就耐心等個幾分鐘吧,結(jié)果搜一下品牌詞,百度首頁第二,然后看下是否有顯示描述。直接上圖吧:

正常顯示結(jié)果

雖然百度沒有按照他說了兩分鐘就給我搞定,但是也不長,十分鐘的事情吧,還真的搞定了。而且因為網(wǎng)站架構(gòu),內(nèi)容都不錯的情況下,更新了快照,然后上線兩天的網(wǎng)站既然有了關(guān)鍵詞排名,兩個詞排在百度第三、四頁,大大出乎我的意料。

此原創(chuàng)文章由 君之諾情感,首發(fā)于A5,轉(zhuǎn)載請注明來源!

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!

相關(guān)標(biāo)簽
robots標(biāo)簽
robots

相關(guān)文章

  • robots協(xié)議怎么寫 作用是什么?

    robots協(xié)議也叫robots.txt(統(tǒng)一小寫)是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件,它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器(又稱網(wǎng)絡(luò)蜘蛛),此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的,哪些是可以被漫游器獲取的。

    標(biāo)簽:
    robots
  • robots具體應(yīng)該禁止些什么文件

    今天大概總結(jié)一下:首先說明一點:每天百度派出的蜘蛛是有限的,robots寫出來是為了節(jié)省蜘蛛資源讓蜘蛛能更快的進行有效爬取和收錄!

  • robots文件編寫秘籍 新手必看

    當(dāng)我們的網(wǎng)站上線之后,一定會有一些不想讓百度抓取的頁面、文件,針對這種問題,我們就要使用協(xié)議去屏蔽。那么這個協(xié)議是什么?究竟怎么寫這個協(xié)議呢?

    標(biāo)簽:
    robots文件
    robots
  • robots.txt文件怎么寫才正確呢?

    曾慶平SEO在前面的文章中講過robots.txt概念的時候,留下一個問題:為什么曾慶平SEO的robots.txt寫得那么復(fù)雜?曾慶平SEO的robots.txt:http://www.xxx.com/robots.txt這樣做的目的是,讓搜索引擎看來網(wǎng)站更規(guī)范和權(quán)威。

  • 百度站長平臺檢測robots.txt 提示301錯誤代碼 怎么解決

    如果以上都沒有錯誤,那么你就要檢查你的CDN了,很可能是因為CDN緩存而造成的,或者是你配置了https,而站長平臺卻綁定的http,無法訪問,這兩點自己排查,如果以上都做到,那么是不會提示這類錯誤的,當(dāng)然也不排查百度站長平臺本身的問題,不過這種機率性很小。

熱門排行

信息推薦