站長俱樂部:站长论坛


返回   站長俱樂部:站长论坛 > 架設網站區 > 主機與頻寬
Blog 論壇幫助 社區 日曆事件 今日新文章 搜尋

回覆
 
主題工具 顯示模式
  #11  
舊 2007-07-19, 07:27 PM
jackeywan jackeywan 目前離線
初級會員
 
註冊日期: 2007-07-13
文章: 29
預設

同意樓上的說法,進入2007,其實我們大陸更多的電商業界人士都是冷靜下來尋求真正的互聯網發展之路,很多人都在努力,經過了以前的探索以及以后的努力,我還是比較相信中國互聯網事業會發展的比較成功的~
回覆時引用此篇文章
  #12  
舊 2007-09-19, 06:45 PM
cheapwebhosting cheapwebhosting 目前離線
初級會員
 
註冊日期: 2007-09-19
文章: 10
預設

主要是程式設計的問題。
google會分析納一些是更新的或新鮮的,哪一些是舊的沒有更新,抓取得時候只抓想要得,不會多抓,而且會平均到一天裏。
baidu則是一股腦全抓來,相當於把你的網站全部下載幾遍,當然會造成巨大的負載,大陸已經有一些知名站點開始屏蔽baidu的robot。

baidu的確是一個無恥的公司,比如用一個國標的meta命令你可以要求google等不要緩存你的網葉,從而搜索者不得不直接訪問你的網站,從而提高訪問量,但是baidu的robot從來不遵守這些規定,使得不少搜索者直接在baidu上打開緩存内容,而不訪問你的網站。
回覆時引用此篇文章
  #13  
舊 2007-09-23, 07:05 PM
mjj 的頭像
mjj mjj 目前離線
初級會員
 
註冊日期: 2007-09-23
住址: 成都.四川.大陆
文章: 8
發送 MSN 消息給 mjj
預設

关于大陆地区搜索引擎对于robot.txt的态度
至少说百度的Spider是绝对遵守的
它将会于每一次索引你站点资料的时候读取你的robot.txt

以下是搜狗官方的说明
Q. 如何 sogou spider 不抓我的网站?
sogou spider 支持 robots 协议,您可以在网站的根目录放置 robots.txt。
robots.txt 的规则请参阅 http://www.robotstxt.org/。
但是新更新的 robots.txt 可能得过几个星期才能体现出效果来。
需要注意的是,被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。

事实上由于大陆地区的搜索引擎竞争空前激烈
所以搜索引擎对于更新比较快的SITE甚至会达到每半小时爬一次
另外由于大陆地区大多数IDC提供的主机服务是采取不限制流量只限制并发连接数IIS的策略
所以并没有流量的忧患

呵呵
我是大陆的站长
希望这些对大家会有帮助
__________________
XJP的碎碎念
回覆時引用此篇文章
  #14  
舊 2007-09-28, 05:56 PM
jidanni jidanni 目前離線
初級會員
 
註冊日期: 2007-09-28
住址: 台中縣
文章: 2
預設

我怎麼弄 http://taizhongbus.jidanni.org/robots.txt
仍見到

pages
290 Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
24 Baiduspider+(+http://www.baidu.com/search/spider.htm)
回覆時引用此篇文章
  #15  
舊 2007-09-28, 06:22 PM
哈啦 的頭像
哈啦 哈啦 目前離線
論壇管理員
 
註冊日期: 2005-12-25
文章: 2,892
Blog 文章: 1
預設

引用:
作者: jidanni 查看文章

據說有些機器人根本不甩你的robots.txt上寫什麼。 直接 ban ip吧。
__________________
A.一文請勿多貼。
B.請選擇相關屬性的版面發文。
C.各類廣告有專版,請勿隨意發至不相干之版面。
----------------------------------------------
發佈您網站的新聞請到 What's New 新聞發佈網來。
回覆時引用此篇文章
  #16  
舊 2007-09-28, 11:23 PM
some some 目前離線
普通會員
 
註冊日期: 2006-10-21
文章: 56
預設

在 .htaccess 前面加入

代碼:
SetEnvIfNoCase Remote_Addr ^(134.196|159.226). ban
SetEnvIfNoCase Remote_Addr ^16(2.105|1.207|6.111|7.139|8.160). ban
SetEnvIfNoCase Remote_Addr ^202.(1[01][0-9]|12[01]|19[2-9]|20[0-7]). ban
SetEnvIfNoCase Remote_Addr ^202.9([6-9]|3). ban
SetEnvIfNoCase Remote_Addr ^210.(1[23]|2[1-9]|3[0-9]|4[0-7]|5[1-3]|7[2-8]|8[23]). ban
SetEnvIfNoCase Remote_Addr ^211.([89][0-9]|6[4-9]|7[01]). ban
SetEnvIfNoCase Remote_Addr ^211.1([45][0-9]|0[0-36-9]|6[0-7]). ban
SetEnvIfNoCase Remote_Addr ^218.([0-9]|[12][0-9]|[6-9][0-9]|3[01]|5[6-9]). ban
SetEnvIfNoCase Remote_Addr ^218.1(0[4-9]|9[2-9]). ban
SetEnvIfNoCase Remote_Addr ^218.2(0[0-7]|4[0-9]). ban
SetEnvIfNoCase Remote_Addr ^219.([78]2|12[89]|1[3-5][0-9]). ban
SetEnvIfNoCase Remote_Addr ^219.2([23][0-9]|1[6-9]|4[2-7]). ban
SetEnvIfNoCase Remote_Addr ^220.1([6-9][0-9]|1[2-5]). ban
SetEnvIfNoCase Remote_Addr ^220.2(0[0-7]|3[489]|5[0-2]). ban
SetEnvIfNoCase Remote_Addr ^221.([0-9]|2[0-3][0-9]). ban
SetEnvIfNoCase Remote_Addr ^221.1([03-5]|2[239]|3[0167]|7[29]|8[0-3]|9[2-8]). ban
SetEnvIfNoCase Remote_Addr ^222.([2-8][0-9]|9[0-5]). ban
SetEnvIfNoCase Remote_Addr ^222.1([6-9]|[37-9][0-9]|2[589]|4[0-3]|6[0-289]). ban
SetEnvIfNoCase Remote_Addr ^222.2([014][0-9]|2[0-3]). ban
SetEnvIfNoCase Remote_Addr ^58.([34][0-9]|19[2-5]). ban
SetEnvIfNoCase Remote_Addr ^58.(5[0-5]|6[67]|8[23]|20[0-7]). ban
SetEnvIfNoCase Remote_Addr ^58.1([4-9]|0[01]|1[6-9]|2[89]|3[0-5]|44). ban
SetEnvIfNoCase Remote_Addr ^58.2([02-5]|0[0-7]). ban
SetEnvIfNoCase Remote_Addr ^59.(3[2-9]|8[0-3]). ban
SetEnvIfNoCase Remote_Addr ^59.[4-7][0-9]. ban
SetEnvIfNoCase Remote_Addr ^59.1(0[89]|9[2-9]). ban
SetEnvIfNoCase Remote_Addr ^59.2([0-4][0-9]|5[0-5]). ban
SetEnvIfNoCase Remote_Addr ^60.([0-9]|[12][0-9]). ban
SetEnvIfNoCase Remote_Addr ^60.(63|55|255|3[01]). ban
SetEnvIfNoCase Remote_Addr ^60.1([6-8][0-9]|9[0145]). ban
SetEnvIfNoCase Remote_Addr ^60.2(0[0-489]|1[0-9]|2[0-3]|3[23]). ban
SetEnvIfNoCase Remote_Addr ^61.(4[89]|5[0-5]). ban
SetEnvIfNoCase Remote_Addr ^61.1([3-8][0-9]|2[89]|9[01]). ban
SetEnvIfNoCase Remote_Addr ^61.2(3[2-7]|4[0-3]). ban

SetEnvIfNoCase Remote_Addr ^192.1(24.154|88.170). ban
SetEnvIfNoCase Remote_Addr ^192.83.(122|169). ban
SetEnvIfNoCase Remote_Addr ^198.17.7. ban
SetEnvIfNoCase Remote_Addr ^202.(20.120|22.24[89]|22.25[0-5]|3.77). ban
SetEnvIfNoCase Remote_Addr ^202.[48].1([3-5][0-9]|2[89]). ban
SetEnvIfNoCase Remote_Addr ^202.[78]5.2(0[89]|1[0-9]|2[0-3]). ban
SetEnvIfNoCase Remote_Addr ^202.0.1([67][0-9]|10). ban
SetEnvIfNoCase Remote_Addr ^202.10.(6[4-9]|7[0-9]). ban
SetEnvIfNoCase Remote_Addr ^202.122.([0-7]|[78][0-9]|11[2-9]|128|3[2-9]|6[4-9]|9[0-5]). ban
SetEnvIfNoCase Remote_Addr ^202.125.1(7[6-9]|8[0-9]|9[01]). ban
SetEnvIfNoCase Remote_Addr ^202.127.([0-7]|[45][0-9]|3[01]|6[0-3]). ban
SetEnvIfNoCase Remote_Addr ^202.127.1([2-5][0-9]|[2-9]|1[2-9]|6[0-7]|9[2-9]). ban
SetEnvIfNoCase Remote_Addr ^202.127.2([0-9]|[2-4][0-9]|0[0-9]|1[2-9]|5[0-5]). ban
SetEnvIfNoCase Remote_Addr ^202.130.([12]?[0-9]|2[34][0-9]|22[4-9]|25[0-5]|3[01]). ban
SetEnvIfNoCase Remote_Addr ^202.131.(1[6-9]|4[89]|5[0-9]|6[0-3]). ban
SetEnvIfNoCase Remote_Addr ^202.131.2([0-3]|0[89]|1[0-9]|2[0-3]). ban
SetEnvIfNoCase Remote_Addr ^202.136.(4[89]|5[0-9]|6[0-3]). ban
SetEnvIfNoCase Remote_Addr ^202.136.2([1-3][0-9]|0[89]|5[2-5]). ban
SetEnvIfNoCase Remote_Addr ^202.14.(23[5-8]|88). ban
SetEnvIfNoCase Remote_Addr ^202.14[23].(1[6-9]|2[0-9]|3[01]). ban
SetEnvIfNoCase Remote_Addr ^202.148.(1[01][0-9]|12[0-7]|9[6-9]). ban
SetEnvIfNoCase Remote_Addr ^202.149.(1[6-8][0-9]|19[01]|2[34][0-9]|22[4-9]|25[0-5]). ban
SetEnvIfNoCase Remote_Addr ^202.158.1([6-8][0-9]|9[0-9]). ban
SetEnvIfNoCase Remote_Addr ^202.164.([0-9]|1[0-5]). ban
SetEnvIfNoCase Remote_Addr ^202.165.(10[0-9]|11[01]|9[6-9]). ban
SetEnvIfNoCase Remote_Addr ^202.166.2([01][0-9]|2[0-3]). ban
SetEnvIfNoCase Remote_Addr ^202.168.1([6-8][0-9]|9[01]). ban
SetEnvIfNoCase Remote_Addr ^202.173.([89]|1[0-5]|2[34][0-9]|22[4-9]|25[0-5]). ban
SetEnvIfNoCase Remote_Addr ^202.180.1([3-5][0-9]|2[89]). ban
SetEnvIfNoCase Remote_Addr ^202.38.([0-9]|[7-9][0-9]|2[0-4][0-9]|25[0-5]|6[4-9]). ban
SetEnvIfNoCase Remote_Addr ^202.38.1([0-2][0-9]|[0-5]|3[0-8]|4[0-7]|49). ban
SetEnvIfNoCase Remote_Addr ^202.38.1(5[0-6]|5[89]|6[01]|6[4-9]|7[0-7]|8[4-9]|9[0-9]). ban
SetEnvIfNoCase Remote_Addr ^202.4(.25[2-5]|1.15[2-9]|6.22[4-9]|6.23[0-9]). ban
SetEnvIfNoCase Remote_Addr ^202.69.(1[6-9]|2[0-9]|3[01]). ban
SetEnvIfNoCase Remote_Addr ^202.7(0.[12]?[0-9]|0.3[01]|4.[89]|4.1[0-5]). ban
SetEnvIfNoCase Remote_Addr ^202.9[01].[0-3]. ban
SetEnvIfNoCase Remote_Addr ^202.9[23].([0-3]|25[2-5]). ban
SetEnvIfNoCase Remote_Addr ^202.9[45].([12]?[0-9]|3[01]). ban
SetEnvIfNoCase Remote_Addr ^202.90.2(2[4-9]|3[0-9]|5[2-5]). ban
SetEnvIfNoCase Remote_Addr ^202.91.1(2[89]|3[01]|7[6-9]|8[0-9]|9[01]). ban
SetEnvIfNoCase Remote_Addr ^202.95.([0-9]|25[2-5]). ban
SetEnvIfNoCase Remote_Addr ^203.(208.1?[0-9]|196.[0-7]). ban
SetEnvIfNoCase Remote_Addr ^203.(89.|90.|88.6|88.22)[0-3]. ban
SetEnvIfNoCase Remote_Addr ^203.100.(1[01][0-9]|12[0-7]|3[2-9]|4[0-7]|9[6-9]). ban
SetEnvIfNoCase Remote_Addr ^203.110.1([6-8][0-9]|9[01]|9[2-9]). ban
SetEnvIfNoCase Remote_Addr ^203.118.2([01][[0-9]|2[0-3]). ban
SetEnvIfNoCase Remote_Addr ^203.119.(2[4-9]|3[0-5]). ban
SetEnvIfNoCase Remote_Addr ^203.128.([45][0-9]|1[0-5][0-9]|3[2-9]|6[0-3]|9[6-9]). ban
SetEnvIfNoCase Remote_Addr ^203.13[02].([45][0-9]|3[2-9]|6[0-3]). ban
SetEnvIfNoCase Remote_Addr ^203.135.(10[0-9]|11[01]|16[0-9]|17[0-5]|9[6-9]). ban
SetEnvIfNoCase Remote_Addr ^203.148.([1-5]?[0-9]6[0-3]). ban
SetEnvIfNoCase Remote_Addr ^203.156.(19[2-9]|2[0-4][0-9]|25[0-5]). ban
SetEnvIfNoCase Remote_Addr ^203.175.(1[3-5][0-9]|12[89]|19[2-9]|2[0-4][0-9]|25[0-5]). ban
SetEnvIfNoCase Remote_Addr ^203.187.1([6-8][0-9]|9[01]). ban
SetEnvIfNoCase Remote_Addr ^203.191.([7-9][0-9]|1[01][0-9]|12[0-7]|6[4-9]). ban
SetEnvIfNoCase Remote_Addr ^203.192.([12]?[0-9]|3[01]). ban
SetEnvIfNoCase Remote_Addr ^203.2(12|23|79).([0-9]|1[0-5]). ban
SetEnvIfNoCase Remote_Addr ^203.207.([7-9]|1[0-9]|2[0-4])[0-9]. ban
SetEnvIfNoCase Remote_Addr ^203.207.(25[0-5]|6[4-9]). ban
SetEnvIfNoCase Remote_Addr ^203.222.(19[2-9]|20[0-7]). ban
SetEnvIfNoCase Remote_Addr ^203.81.(1[6-9]|2[0-9]|3[01]). ban
SetEnvIfNoCase Remote_Addr ^203.86.([1-8]?[0-9]|9[0-5]). ban
SetEnvIfNoCase Remote_Addr ^203.88.([45]|2[01])[0-9]. ban
SetEnvIfNoCase Remote_Addr ^203.88.(3|19)[2-9]. ban
SetEnvIfNoCase Remote_Addr ^203.90.(1[3-9][0-9]|12[8-9]|2[01][0-9]|22[0-3]). ban
SetEnvIfNoCase Remote_Addr ^203.91.([45]|10)[0-9]. ban
SetEnvIfNoCase Remote_Addr ^203.91.(11[01]|3[2-9]|6[0-3]|9[6-9]). ban
SetEnvIfNoCase Remote_Addr ^203.92.([0-3]|1[6-8][0-9]|19[01]). ban
SetEnvIfNoCase Remote_Addr ^203.94.([12]?[0-9]|3[01]). ban
SetEnvIfNoCase Remote_Addr ^203.95.([0-7]|10[0-9]|11[01]|9[6-9]). ban
SetEnvIfNoCase Remote_Addr ^210.1(4.6[4-9]|5.19[0-2]). ban
SetEnvIfNoCase Remote_Addr ^210.14.([78]|1[6-9]|2[0-4])[0-9]. ban
SetEnvIfNoCase Remote_Addr ^210.14.(25|9)[0-5]. ban
SetEnvIfNoCase Remote_Addr ^210.15.([1-9]|1[0-8])?[0-9]. ban
SetEnvIfNoCase Remote_Addr ^210.16.1([3-8][0-9]|2[89]|9[01]). ban
SetEnvIfNoCase Remote_Addr ^210.185.(19[2-9]|2[0-4][0-9]|25[0-5]). ban
SetEnvIfNoCase Remote_Addr ^210.192.(1[01][0-9]|12[0-7]|9[6-9]). ban
SetEnvIfNoCase Remote_Addr ^210.211.([0-9]|1[0-5]). ban
SetEnvIfNoCase Remote_Addr ^210.5.([1-3]?[0-9]|4[0-7]). ban
SetEnvIfNoCase Remote_Addr ^210.5.1(2[89]|3[0-9]|4[0-3]). ban
SetEnvIfNoCase Remote_Addr ^210.56.(19[2-9]|2[01][0-9]|22[0-3]). ban
SetEnvIfNoCase Remote_Addr ^210.79.([7-9]|1[01]|2[34])[0-9]. ban
SetEnvIfNoCase Remote_Addr ^210.79.(12[0-7]|25[0-5]). ban
SetEnvIfNoCase Remote_Addr ^210.79.(6|22)[4-9]. ban
SetEnvIfNoCase Remote_Addr ^210.87.1([3-8][0-9]|2[8-9]|9[01]). ban
SetEnvIfNoCase Remote_Addr ^218.185.(19[2-9]|2[01][0-9]|2[0-3]). ban
SetEnvIfNoCase Remote_Addr ^220.231.([1-5]?[0-9]|6[0-3]). ban
SetEnvIfNoCase Remote_Addr ^220.231.1([3-9][0-9]|2[89]). ban
SetEnvIfNoCase Remote_Addr ^220.231.2([0-4][0-9]|5[0-5]). ban
SetEnvIfNoCase Remote_Addr ^220.232.([7-9]|1[01])[0-9]. ban
SetEnvIfNoCase Remote_Addr ^220.232.(12[0-7]|6[4-9]). ban
SetEnvIfNoCase Remote_Addr ^221.1(1.22[0-3]|2.19[01]). ban
SetEnvIfNoCase Remote_Addr ^221.11.([1-9]?|1[0-9]|2[01])[0-9]. ban
SetEnvIfNoCase Remote_Addr ^221.12.([1-9]|1[0-8])?[0-9]. ban
SetEnvIfNoCase Remote_Addr ^221.199.([1-3]?|1[3-9])[0-9]. ban
SetEnvIfNoCase Remote_Addr ^221.199.(4|20)[0-7]. ban
SetEnvIfNoCase Remote_Addr ^221.199.12[89]. ban
SetEnvIfNoCase Remote_Addr ^222.163.([12]?[0-9]|3[01]). ban
SetEnvIfNoCase Remote_Addr ^58.87.([7-9]|1[0-8])[0-9]. ban
SetEnvIfNoCase Remote_Addr ^58.87.6[4-9]. ban
SetEnvIfNoCase Remote_Addr ^59.1(07|51|91).12[0-7]. ban
SetEnvIfNoCase Remote_Addr ^59.1[59]1.([1-9]?|1[01])[0-9]. ban
SetEnvIfNoCase Remote_Addr ^59.107.([1-9]|1[01])?[0-9]. ban
SetEnvIfNoCase Remote_Addr ^60.13.([1-5]?|1[3-9]|2[0-4])[0-9]. ban
SetEnvIfNoCase Remote_Addr ^60.13.(12[89]|25[0-5]|6[0-3]). ban
SetEnvIfNoCase Remote_Addr ^61.28.([0-9]?[0-9]|1[01][0-9]|12[0-7]). ban
SetEnvIfNoCase Remote_Addr ^61.29.(1[3-9][0-9]|12[89]|2[0-4][0-9]|25[0-5]). ban
SetEnvIfNoCase Remote_Addr ^61.4.(6[4-9]|7[0-9]). ban
SetEnvIfNoCase Remote_Addr ^61.45.19[01]. ban
SetEnvIfNoCase Remote_Addr ^61.47.1([3-8][0-9]|2[89]|9[01]). ban

<Files *>
   Order Allow,Deny
   Allow from all
   Deny from env=ban
</Files>
直接封殺大陸ip最快..

轉貼自
http://blog.mingyan.idv.tw/index.php?op=ViewArticle&articleId=508&blogId=1
回覆時引用此篇文章
  #17  
舊 2007-11-20, 10:39 AM
jidanni jidanni 目前離線
初級會員
 
註冊日期: 2007-09-28
住址: 台中縣
文章: 2
預設

另外,見
http://pic.sogou.com/d?query=%B0%D7%C6%A8%B9%C9%CD%BC%C6%AC&mood=0&mode=1&di=0&page=1&did=17&gid=0&p=24010501&dp=1&w=05002600&dr=1

發現其不但不理
http://jidanni.org/robots.txt
甚至 HOTLINK my images into their search results page.
回覆時引用此篇文章
  #18  
舊 2009-06-27, 08:21 PM
rainxq rainxq 目前離線
初級會員
 
註冊日期: 2009-06-27
住址: 廣東
文章: 2
預設

呵呵,我是大陸的。。。你的主機太差了
回覆時引用此篇文章
  #19  
舊 2009-06-28, 04:49 AM
18SUPER 的頭像
18SUPER 18SUPER 目前離線
進階會員
 
註冊日期: 2006-02-09
文章: 323
預設

又是一篇陳年文案煩了上來
說來哈大您的主機還是有被"擺渡"騷擾嗎?
回覆時引用此篇文章
  #20  
舊 2009-06-28, 07:22 PM
哈啦 的頭像
哈啦 哈啦 目前離線
論壇管理員
 
註冊日期: 2005-12-25
文章: 2,892
Blog 文章: 1
預設

引用:
作者: 18SUPER 查看文章
又是一篇陳年文案煩了上來
說來哈大您的主機還是有被"擺渡"騷擾嗎?
現在沒注意這些問題了,都由主機商在管的。
__________________
A.一文請勿多貼。
B.請選擇相關屬性的版面發文。
C.各類廣告有專版,請勿隨意發至不相干之版面。
----------------------------------------------
發佈您網站的新聞請到 What's New 新聞發佈網來。
回覆時引用此篇文章
回覆

書籤


發文規則
不可以發表新主題
不可以發表回覆
不可以上傳附件
不可以編輯自己的文章

啟用 BB 代碼
論壇啟用 表情符號
論壇啟用 [IMG] 代碼
論壇禁用 HTML 代碼

論壇跳轉

 

所有時間均為 +8。現在的時間是 09:56 AM


本站主機由網易虛擬主機代管
Powered by vBulletin® 版本 3.8.4
版權所有 ©2000 - 2024,Jelsoft Enterprises Ltd.