[ptez]

大陸的作法是
一次派幾十隻來
幾天內把你內容抓完

Google 等是每天派一隻來
天天抓 慢慢抓

所以大陸的 robot
這樣的作法會導致網站爆掉
甚至連 server 都負荷不了
(同時太多 robot)
和 DDOS 實在沒啥差別

即使是龍頭 Baidu 也不鳥你
不要說台灣的網站
連大陸的站長也沒辦法

該說什麼呢? 民族性?