主要是程式設計的問題。
google會分析納一些是更新的或新鮮的，哪一些是舊的沒有更新，抓取得時候只抓想要得，不會多抓，而且會平均到一天裏。
baidu則是一股腦全抓來，相當於把你的網站全部下載幾遍，當然會造成巨大的負載，大陸已經有一些知名站點開始屏蔽baidu的robot。
baidu的確是一個無恥的公司，比如用一個國標的meta命令你可以要求google等不要緩存你的網葉，從而搜索者不得不直接訪問你的網站，從而提高訪問量，但是baidu的robot從來不遵守這些規定，使得不少搜索者直接在baidu上打開緩存内容，而不訪問你的網站。
|