#11
|
||||
|
||||
__________________
A.一文請勿多貼。 B.請選擇相關屬性的版面發文。 C.各類廣告有專版,請勿隨意發至不相干之版面。 ---------------------------------------------- 發佈您網站的新聞請到 What's New 新聞發佈網來。 |
#12
|
|||
|
|||
正是, 百度偶而會密集的爬入, 而且常是同時兩三個 IP ....
Google, Yahoo 與 MSN 也都是 24 小時不斷的爬我網站, 也沒見吃掉多少頻寬 百度的爬虫不大穩定, 有時幾個月沒事. 有時突然可吃掉整個 MySQL 的效能, 甚至於進入當機狀態. 一分鐘之內衝入 3000 多個點擊 ... 嚇人 兩年前, 我就這樣曾經把它 ban 了半年. 我站也一直排不入列 ... 後來放了它一年多, 我站爬到搜尋 "民宿" 時的第四位 ... 上個月, 它又有三個 IP 衝得我主機當了兩次. 再把它 ban 了 .... 我想, 基本上是它的技術真的有問題. 就算在 robot.txt 中對它的爬虫 設了時間間隔, 也不像它網站上的說明能有效果 . 別家的沒遇過醬的問題.. |