1 頁 (共 1 頁)

求助!阻檔搜尋引擎蜘蛛_封鎖中國大陸網段

文章發表於: 2007年 5月 19日, 00:30
bb2000z
求助!我是威博達虛擬主機使用者
http://xs.idv.tw/

因為特殊需要.我有二個困擾.就是:

(1)不知道用什麼方法可以阻檔所有搜尋引擎蜘蛛?

(2)不知道用什麼方法可以封鎖所有中國大陸IP網段來訪?
______________________________
我有用CPANEL後台的IP連線管理功能封鎖IP
可是每天都要例行公事實在太累了!:confused:

謝謝您!

文章發表於: 2007年 5月 19日, 12:15
hamlet
關於您的問題回答如下
1.有的可以使用robots.txt檔案阻攔所有搜索引擎來抓取整個網站的搜尋
使用方法為:
打開記事本將下列語法填入到記事本中
User-Agent:*
Disallow:/
然後儲存更名為robots.txt再將該檔案上傳至虛擬主機的根目錄public_html或該台虛擬主機所指定的網頁目錄中即可但邏輯上是可以阻擋但站長並無法保證全部一體適用。
相關robots.txt檔的使用可參考google的網站說明:
http://www.google.com.tw/support/webmasters/bin/answer.py?answer=40362
※另外提供您如何准許所有搜索引擎來抓你所有的網頁:
User-Agent:*
Disallow:
將/拿掉就行了
2.大陸由於搜索引擎眾多有時候站長也檔不完而且經常換ip站長也只能盡量阻擋、您使用的ip管理所阻擋的ip也須視是否為大陸或搜索引擎的ip,站長有觀察過您阻擋的ip有些是台灣的正常ip甚至是站長的ip也被阻擋、我已經將大陸的幾大搜索引擎阻擋程式加入你ip連線管理中應不至於會導致您太大的流量、如您真的不想讓任何的蜘蛛來抓網站可考慮使用站長1.的教學、但自己需考慮清楚這樣將照成全世界的搜索引擎皆無法抓取你的網站也代表這樣做全世界的搜索引擎將無法將你的網站收錄到他們的資料庫中、也代表任何人要找到你的網站都有可能會無法再任何的搜索引擎上找到。
如何檔大陸搜狐和百度蜘蛛可參考以下網頁說明:
http://forum.webdsn.net/showthread.php?p=1558#post1558

文章發表於: 2007年 5月 19日, 16:54
bb2000z
不專業的我.很遺憾阻擋的ip有些是台灣的正常ip.甚至是站長的ip也被阻擋!
所以我回到CPANEL後台IP連線管理.又刪除了原先阻擋的ip.只留下二行!

我已經使用了站長1.的教學!
_______________
阻檔搜尋引擎蜘蛛
封鎖中國大陸網段
以後懇請站長多多幫忙
謝謝您!

威博達虛擬主機消費者有福了
一切專業的事可以交給威博達
我這樣的說法對不對?
說錯請原諒!:D

文章發表於: 2007年 5月 20日, 17:44
bb2000z
我想補充說明一點

我喜歡中國大陸網友
我之所以要
阻檔搜尋引擎蜘蛛_封鎖中國大陸網段
是遭受到百度網站騷擾
真是無奈!
我發言不當之處懇請原諒!
也非常感謝威博達虛擬主機的服務! 

文章發表於: 2007年 5月 21日, 11:53
hamlet
http://www.robbin.cc/vb/archive/index.php/t-277.html
這裡有篇文章可參考看一下如何使用..htaccess及如何阻擋ip網段
你可參考一下冰漾網友幾大搜索蜘蛛的Ip區段的ip封鎖設定還滿準確的
但基本上由於大陸搜索蜘蛛並無視於robots.txt的規則即使你有設robot.txt
有時仍無法阻擋他的搜索、如您要很正確的封鎖大陸搜索蜘蛛可參考以上教學
隨時封鎖您有發現的蜘蛛ip區段。
如何判斷是否為大陸蜘蛛您可進入cpanel的後台中查看最新訪客
如有例如以下訊息及所顯示的host ip即可與以封鎖
Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

※以上訊息會因很多大陸的搜索引擎而改變如要封鎖請封鎖大陸搜索引擎的蜘蛛
如看到yahoo或google 的bot或spider請勿封鎖以免yahoo或google的搜尋引擎
無法抓到你的網站(當然如果你想封也行但自己需考慮清楚)
封鎖ip區段可參考以下說明
例如(Kirin_Lin網友教學)
C class:
220.181.19.0-255
可在.htaccess中加入
Deny from 220.181.19.0/24

B class:
220.181.0.0-220.181.255.255
Deny from 220.181.0.0/16

如何查詢是否為大陸ip可參考以下圖解教學:
http://forum.webdsn.net/showthread.php?t=535
tracert 出最後的值是否顯示大陸的host .cn伺服器、china字眼即可得知

以下有大陸ip網段的總整理:
http://www.pczone.com.tw/vbb3/archive/t-116081.html
看到.*星號代表全部的意思

※另外補充.htacess的用法鳥哥及其他網站的說明:
http://linux.vbird.org/linux_server/0360apache.php#www_adv_htaccess
http://blog.yam.com/williamlong/article/5910127

文章發表於: 2007年 5月 22日, 13:59
bb2000z
我也四處搜尋看了一下.好像都在技術面較勁!

中國是世界上網絡封鎖最嚴厲,技術最先進,資金投入最大的國家。
突破網絡封鎖的方法
http://tw.knowledge.yahoo.com/question/?qid=1105071305900

網路隱形人
http://tw.knowledge.yahoo.com/question/?qid=1405101900873

htaccess網頁認證設定
http://www.nfu.edu.tw/web95/network/htaccess/index.htm

access.conf-整體存取控制檔案
http://www.ncu.edu.tw/~center13/webserver/access.html