主題: [經驗]真的很受不了中國大陸的搜尋引擎
查看單個文章
  #14  
舊 2007-09-28, 05:56 PM
jidanni jidanni 目前離線
初級會員
  
註冊日期: 2007-09-28
住址: 台中縣
文章: 2
預設
我怎麼弄 http://taizhongbus.jidanni.org/robots.txt
仍見到

pages
290 Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
24 Baiduspider+(+http://www.baidu.com/search/spider.htm)
回覆時引用此篇文章