時間：2015-12-22 13:36:58 瀏覽：2974次
作網站運營尤其是網站排名優(yōu)化的時候，我們總想著如何來引導搜索引擎蜘蛛來爬行網頁，收錄。然而，很多時候一些網站因為所真對的用戶群體和目標地區(qū)不同，并不希望獲得搜索引擎的光顧，這個時候我們要如何來解決呢？今天和筆者小丹一起來研究一下吧！
當我們看到要屏蔽抓取的時候，大多數SEOer想到的都是robots.txt文件。因為在我們的認知中，robot文件可以有效的杜姐搜索引擎抓取某些頁面。但是要知道，雖然這個方式很不錯，但是更多時候小丹認為它比較適合于在網站沒有完成，為了避免之后的死鏈或者考察期而存在的。
若單單為了屏蔽某個搜索引擎的抓取，我們大可不必為空間造成負累，只要使用一點簡單的代碼即可。例如，我們要屏蔽百度蜘蛛的抓取<meta name="Baiduspider" content="noarchive">即可。當然這僅僅是屏蔽百度抓取的方式，如果想要任何一個搜索引擎，只要將Baiduspider更換為改搜索引擎的蜘蛛即可。
常見搜索引擎蜘蛛名稱如下：
1、baiduspider 百度的綜合索引蜘蛛
2、Googlebot 谷歌蜘蛛
3、Googlebot-Image 專門用來抓取圖片的蜘蛛
4、Mediapartners-Google 廣告聯盟代碼的蜘蛛
5、Yahoo Slurp 雅虎蜘蛛
6、Yahoo! Slup China 雅虎中國蜘蛛
7、Yahoo!-AdCrawler 雅虎廣告蜘蛛
8、YodaoBot 網易蜘蛛
9、Sosospider 騰訊SOSO綜合蜘蛛
10、sogou spider 搜狗綜合蜘蛛
11、MSNBot Live 綜合蜘蛛
但，如果你要屏蔽所有的搜索引擎，那么就要使用robot文件了：<meta name="robots" content="noarchive">。
到這里很多朋友獲取應該明白了，在代碼中禁止建立網頁快照的命令是noarchive。所以，如果我們對于搜索引擎有限制，就根據自己的禁止快照對象，將代碼加在網頁的<head>與</head>直接即可；反之，在不要添加任何一條代碼，就可以保證各大搜索引擎能夠正常訪問網站并且建立快照。
(轉載請注明轉自：www.golfalacart-thailand.com/news/n1913.htm，謝謝!珍惜別人的勞動成果，就是在尊重自!）
上一篇：新網站優(yōu)化建議分享
24小時服務熱線：4000-135-120轉6
業(yè)務 QQ: 444961110
渠道合作： 444961110@qq.com
河北供求互聯信息技術有限公司（河北供求網）誕生于2003年4月，是康靈集團旗下子公司，也是河北省首批從事網站建設、電子商務開發(fā)，并獲得國家工業(yè)和信息化部資質認證的企業(yè)。公司自成立以來，以傳播互聯網文化為已任, 以高科技為起點，以網絡營銷研究與應用為核心，致力于為各企事業(yè)單位提供網絡域名注冊、虛擬主機租用、網站制作與維護、網站推廣和宣傳、網站改版與翻譯、移動互聯網營銷平臺開發(fā)與運營、企業(yè)郵局、網絡支付、系統集成、軟件開發(fā)、電子商務解決方案等優(yōu)質的信息技術服務，與中國科學院計算機網絡信息中心、騰訊、百度、阿里巴巴、搜狗、360、電信、聯通、中國數據、萬網、中資源、陽光互聯、點點客、北龍中網、電信通等達成戰(zhàn)略合作伙伴關系。
