关于大陆地区搜索引擎对于robot.txt的态度
至少说百度的Spider是绝对遵守的
它将会于每一次索引你站点资料的时候读取你的robot.txt
以下是搜狗官方的说明
Q. 如何 sogou spider 不抓我的网站？
sogou spider 支持 robots 协议，您可以在网站的根目录放置 robots.txt。
robots.txt 的规则请参阅
http://www.robotstxt.org/。
但是新更新的 robots.txt 可能得过几个星期才能体现出效果来。
需要注意的是，被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。
事实上由于大陆地区的搜索引擎竞争空前激烈
所以搜索引擎对于更新比较快的SITE甚至会达到每半小时爬一次
另外由于大陆地区大多数IDC提供的主机服务是采取不限制流量只限制并发连接数IIS的策略
所以并没有流量的忧患
呵呵
我是大陆的站长
希望这些对大家会有帮助