評估全面封鎖大陸百度搜尋引擎蜘蛛

[joe]

日前發現由於百度搜尋引擎的大量存取客戶網站,造成部分客戶網站流量暴增,甚至造成主機cpu跟記憶體的大量耗用造成主機的不穩定
由於百度蜘蛛無視於ROBOTS.TXT的無禮行為,目前至正評估封鎖百度的搜尋引擎蜘蛛(Baiduspider)
相關百度蜘蛛文章可參考
http://www.cgs.tw/nucleus/blog/1/item/669
http://blog.kej.tw/2006-01/09/weird-baiduspider/
http://www.pczone.com.tw/vbb3/archive/index.php/t-125382.html
目前若您發現百度蜘蛛對您的網站大量存取您可以在您的網頁根目錄的.htaccess檔案中加入
SetEnvIf User-Agent ^Baiduspider badrobot

<Files *>
Order allow,deny
Allow from all
Deny from env=badrobot
</Files>

另外一個搜索引擎搜狐蜘蛛阻擋程式碼請在.htaccess中加入
SetEnvIf User-Agent ^sogou sogourobot
<Files *>
Order allow,deny
Allow from all
Deny from env=sogourobot
</Files>

[阿維]

我是覺得假如網站觸角沒有到大陸,就乾脆全面封鎖大陸的BOT來抓取資料吧
因為不但會造成主機的負擔,而且又會拉一些共匪來洗腦,不是說大家都是中國人,不然就是說他們有多窮之類的

假如他們真的要參與討論,不一定要透過搜尋引擎來加入會員
更何況它們是這麼不客氣,為了抓取資料,只為了要增加他們在搜尋市場的市佔率而已

[joe]

另外一隻蜘蛛大陸sogou spider有有相同的問題

[阿維]

那個也可以考慮完全封鎖了,因為它也是大量抓取資料不顧用戶的死活... (我好幾次被他們的BOT用到當機)