[經驗]真的很受不了中國大陸的搜尋引擎

[哈啦]

常常會發現自己的網站在一夕之間爆了流量，每次幾乎都是來自中國的搜尋引擎所致，從以前的百度到現在的搜狗，而且還定期輪流來。

我有一個網站，平常一個月的流量一二百MB就夠了，今天才幾號啊，竟然通知我爆掉了？我一去看不得了，竟然已被用掉了快3GB，顯然是快速大量的被擠爆，不然一超過原先設定的300MB沒多久就該通知流量超過。果然，是被一個中國大陸的IP才五次的visits就耗掉 2775420 KBytes。結果一查，是一個叫「海量」的hl_ftien_spider，來自中國大陸。

我常很奇怪，同樣是搜尋引擎，為什麼中國的一些搜尋引擎就常會表現出如砍站般的行為耗用大量的流量？人家google, yahoo就不會？我看到google的耗用流量也不少，但只要遇上來自中國的搜尋引擎就會被比下去。是中國這些搜尋引擎的程式設計有問題嗎？ 而每有新的搜尋機器人加入，許多人的網站就要爆一次流量，中國大力發展互聯網事業是不錯，但也注意這些搜尋機器人不要反而成了互聯網公害，到時形象就更糟糕了。

[some.lin]

我每次看到我的 awstats 報表, 有搜尋引擎這樣吃我的網站, 我都非常歡迎^^

[哈啦]

hl_ftien_spider就是： HaiLiang Full Text Index English Spider的縮寫。

[sakillll]

自從用dreamhost就沒管那麼多了
和some一樣，歡迎歡迎~

[666]

受不了 +1.

讓我更氣（又好笑）的是居然看到某些論壇站長，趁此現象公開呼籲叫窮：本站線上人數一再創新高、流量大增，我又要籌流量費了云云 。接著就會有一群天真無邪又單純的網友出來 reply: 站長辛苦了！大家捐款支援吧....其實明眼人一看 ALEXA 就知道，那些暴增的線上人數都是各路蜘蛛及廣告機器人。

[flyby9]

基本上大陸的spider都不遵守robot txt
所以只能用ban ip

[ptez]

大陸的作法是
一次派幾十隻來
幾天內把你內容抓完

Google 等是每天派一隻來
天天抓 慢慢抓

所以大陸的 robot
這樣的作法會導致網站爆掉
甚至連 server 都負荷不了
(同時太多 robot)
和 DDOS 實在沒啥差別

即使是龍頭 Baidu 也不鳥你
不要說台灣的網站
連大陸的站長也沒辦法

該說什麼呢? 民族性?

[hacksystem]

大陆的话喜欢BAIDU这样爬，我一般新站一个月就能收入几十万，IP几万，如果爬的慢哪会这么快

[哈啦]

作者: hacksystem

大陆的话喜欢BAIDU这样爬，我一般新站一个月就能收入几十万，IP几万，如果爬的慢哪会这么快

你老兄是什麼網站啊？那麼厲害，介紹一下讓大家觀摩一下吧？

[阻擊者]

這是一個很無聊的游戲規則。
搜索引擎的不厭其煩的來訪，收錄量的增加，搜索排名產生黑帽SEO，人人為了獲取流量，不擇手段，為博的就是這1周內的流量。
網站集群設計制作，通常只是無序的更改文章內容，COPY 數份，更換一個LOGO和網站名即可，一個月內賺取數萬元RMB甚至是美金在2004年左右都是不稀奇的。
如今的狀況應該比哈啦05年所抱怨的狀況有所改善吧？
當然，殺雞取卵式的時代過去后，大陸的個人網站都十分蕭條，不過，總算有人愿意開始靜下心，用內容留住用戶。