日前發現由於百度搜尋引擎的大量存取客戶網站,造成部分客戶網站流量暴增,甚至造成主機cpu跟記憶體的大量耗用造成主機的不穩定
由於百度蜘蛛無視於ROBOTS.TXT的無禮行為,目前至正評估封鎖百度的搜尋引擎蜘蛛(Baiduspider)
相關百度蜘蛛文章可參考
http://www.cgs.tw/nucleus/blog/1/item/669
http://blog.kej.tw/2006-01/09/weird-baiduspider/
http://www.pczone.com.tw/vbb3/archive/index.php/t-125382.html
目前若您發現百度蜘蛛對您的網站大量存取您可以在您的網頁根目錄的.htaccess檔案中加入
SetEnvIf User-Agent ^Baiduspider badrobot
<Files *>
Order allow,deny
Allow from all
Deny from env=badrobot
</Files>
另外一個搜索引擎搜狐蜘蛛阻擋程式碼請在.htaccess中加入
SetEnvIf User-Agent ^sogou sogourobot
<Files *>
Order allow,deny
Allow from all
Deny from env=sogourobot
</Files>