一個合格的網(wǎng)站，有必要在根目錄下包括一下robots.txt文件，這個文件的效果對悉數(shù)運營網(wǎng)站的朋友來說并不陌生，網(wǎng)上也供應(yīng)了很多制作 robots.txt文件的方法和軟件，可謂恰當便當?？墒?，你真的知道網(wǎng)站的robots.txt文件設(shè)置是不是合理，哪些文件或許目錄需要屏蔽、哪些設(shè) 置方法對網(wǎng)站運營有利益?
那下面帶著這些疑問，筆者會進行具體的答復(fù)，希望對菜鳥站長朋友們有所幫忙，老鳥勿噴。
一、啥是robots.txt
筆者引證baidu站長東西中后段話來闡明。查找引擎運用spider程序自動訪問互聯(lián)網(wǎng)上的頁面并獲取頁面信息。spider在訪問一個網(wǎng)站時，會首先會 查看該網(wǎng)站的根域下是不是有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網(wǎng)站上的抓取計劃。您可以在您的網(wǎng)站中創(chuàng)立一個robots.txt，在文件中聲明 該網(wǎng)站中不想被查找引擎錄入的有些或許指定查找引擎只錄入特定的有些。
二、robots.txt文件對網(wǎng)站有啥利益
1、快速添加網(wǎng)站權(quán)重和訪問量;
2、阻遏某些文件被查找引擎索引，可以節(jié)省服務(wù)器帶寬和網(wǎng)站訪問速度;
3、為查找引擎供應(yīng)一個簡潔明了的索引環(huán)境
三、哪些網(wǎng)站的目錄需要運用robots.txt文件阻遏抓取
1)、圖畫目錄
圖畫是構(gòu)成網(wǎng)站的首要構(gòu)成元素。跟著現(xiàn)在搭站越來越便當，很多CMS的出現(xiàn)，真實做到了會打字就會建網(wǎng)站，而恰是因為如此便當，網(wǎng)上出現(xiàn)了很多的同質(zhì) 化模板網(wǎng)站，被重復(fù)運用，這么的網(wǎng)站查找引擎是一定不喜愛的，就算是你的網(wǎng)站被錄入了，那你的效果也是很差的。假定你非要用這種網(wǎng)站的話，建議你應(yīng)當在 robots.txt文件中進行屏蔽，通常的網(wǎng)站圖畫目錄是：imags 或許 img;
2)、網(wǎng)站模板目錄
如上面 圖畫目錄 中所說，CMS的強大和活絡(luò)，也致使了很多同質(zhì)化的網(wǎng)站模板的出現(xiàn)和亂用，高度的重復(fù)性模板在查找引擎中構(gòu)成了一種冗余，且模板文件常常與生成文件高度相 似，一樣易構(gòu)成一樣內(nèi)容的出現(xiàn)。對查找引擎很不友善，嚴峻的直接被查找引擎打入冷宮，不得翻身，很多CMS有具有獨立的模板存放目錄，因而，應(yīng)當進行模板 目錄的屏蔽。通常模板目錄的文件目錄是：templets
3)、CSS、JS目錄的屏蔽
CSS目錄文件在查找引擎的抓取中沒有用處，也無法供應(yīng)有價值的信息。所以劇烈建議站長朋友們在Robots.txt文件中將其進行屏蔽，以跋涉查找 引擎的索引質(zhì)量。為查找引擎供應(yīng)一個簡潔明了的索引環(huán)境更易行進網(wǎng)站友善性。CSS樣式的目錄通常情況下是：CSS 或許 style
JS文件在查找引擎中無法進行辨認，這兒只是建議，可以對其進行屏蔽，這么做也有一個利益：為查找引擎供應(yīng)一個簡潔明了的索引環(huán)境;
4)、屏蔽雙頁面的內(nèi)容
這兒拿DEDECMS來舉例吧。咱們都知道DEDECMS可以運用靜態(tài)和動態(tài)URL進行同一篇內(nèi)容的訪問，假定你生成全站靜態(tài)了，那你有必要屏蔽動態(tài)地 址的URL銜接。這兒有兩個利益：1、查找引擎對靜態(tài)的URL比動態(tài)的URL更友善、更簡略錄入;2、避免靜態(tài)、動態(tài)URL能訪問同一篇文章而被查找引擎 判為重復(fù)內(nèi)容。這么做對查找引擎友善性來說是有益無害的。
5)、模板緩存目錄
很多CMS程序都有緩存目錄，這種緩存目錄的利益我想不用說咱們也了解了吧，可以十分有用的行進網(wǎng)站的訪問速度，減少網(wǎng)站帶寬，對用戶體會也是極好 的。不過，這么的緩存目錄也有一定的缺點，那就是會讓查找引擎進行重復(fù)的抓取，一個網(wǎng)站中內(nèi)容重復(fù)也是大祭，對網(wǎng)站百害而無一利。很多運用CMS搭站的朋 友都沒有留心到，有必要要致使注重。
6)被刪去的目錄
死鏈過多，對查找引擎優(yōu)化來說，是喪身的。不能不致使站長的高度注重，。在網(wǎng)站的打開過程中，目錄的刪去和調(diào)整是不行避免的，假定你的網(wǎng)站其時目錄不 存在了，那有必要對此目錄進行robots屏蔽，并回來精確的404過錯頁面(留心：在IIS中，有的朋友在設(shè)置404過錯的時分，設(shè)置存在疑問，在自定義 過錯頁面一項中，404過錯的精確設(shè)置應(yīng)當是挑選：默認值 或許 文件，而不應(yīng)該是：URL，以避免查找引擎回來200的狀況碼。至于怎么設(shè)置，網(wǎng)上教程很多，咱們要吧查找一下)
這兒有一個爭議性的疑問，關(guān)于網(wǎng)站后臺處理目錄是不是需要進行屏蔽，正本這個可有可無。在能確保網(wǎng)站安全的情況下，假定你的網(wǎng)站運營計劃較小，就算網(wǎng)站 處理目錄出現(xiàn)在robots.txt文件中，也沒有多大疑問，這個我也見過很多網(wǎng)站這么設(shè)置的;但假定你的網(wǎng)站運營計劃較大，競爭奪手過多，劇烈建議千萬 別出現(xiàn)任何你網(wǎng)站后臺處理目錄的信息，以防被存心不良的人運用，損害你的利益;正本查找引擎越來越智能，關(guān)于網(wǎng)站的處理目錄仍是能極好的辨認，并扔掉索引 的。其他，咱們在做網(wǎng)站后臺的時分，也可以在頁面元標簽中添加：進行查找引擎的屏蔽抓取。
究竟，需要闡明一點，很多站長朋友喜愛把站點地圖地址放在robots.txt文件中，當然這兒并不是去屏蔽查找引擎，而是讓查找引擎在初度索引網(wǎng) 站的時分便能通過站點地圖快速的抓取網(wǎng)站內(nèi)容。這兒需要留心一下：1、站點地圖的制作一定要規(guī)范;2、網(wǎng)站一定要有高質(zhì)量的內(nèi)容。
本文來自-資產(chǎn)之家www.zichanzhijia.com
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
