引擎爬蟲對台灣網站的照顧程度差異

icon · #1 2007-01-13, 05:10 PM

原文引自 :
http://www.seotw.com/archives/5

幾個主要的搜索引擎, Yahoo, Google, MSN 就把百度也算上吧. 這些引擎對台灣網站的爬讀, 似乎是以 Yahoo 爬的最勤. 我有幾個網站, 經由兩年多來的比較發現. 大致上是, 只要變動率高的網站. Yahoo 可以是 24 小時不斷的在爬, 其實, 其他幾家也都會針對網站本身的變動程度來調整爬讀的密度. 只是, Yahoo 對於正體中文的台灣網站, 爬過了之後, 在引擎的搜尋結果頁中的排序, 十分快的兌現. 幾乎是網頁今天改了也許就今或明天就被爬到了. 被爬過的第二天, 排序就兌現了. 甚至於, 一個排在搜索結果頁第一的網站, 若不小心網頁當了一天, 被 Yahoo 爬不到, 第二天排名可能就掉到五六名去了, 若連續當個兩天鐵會掉到第一頁之外. 不過, 只要恢復運轉之後, 還能很快的就提昇回來. Google, MSN, 百度對正體中文站的排序反應就沒這麼快. 也許幾個月也沒發生變動. 說不定是改動的部份, 與它們的排序因素沒發生太大的影響.

還可參考以下文件
http://bbs.hi3b.com/post-5141.html#5141

ismile · #2 2007-01-15, 06:16 PM

個人經驗剛好部份相反。Yahoo 最常爬，Google 次之，但次數差不多，都是每天。

但 Google 很快就反應在搜尋結果中，但 Yahoo 就很慢了。

18SUPER · #3 2007-01-16, 08:02 AM

引用:

作者: ismile

個人經驗剛好部份相反。Yahoo 最常爬，Google 次之，但次數差不多，都是每天。

但 Google 很快就反應在搜尋結果中，但 Yahoo 就很慢了。

認同
YAHOO很慢
通常我的網站都爬到GOOGLE第一頁了
YAHOO還在很後面
是因為主機不在台灣嗎?

icon · #4 2007-01-16, 07:35 PM

引用:

作者: 18SUPER

認同
YAHOO很慢
通常我的網站都爬到GOOGLE第一頁了
YAHOO還在很後面
是因為主機不在台灣嗎?

你說的這一點是, Yahoo 的計算因素與 google 不同. 並不是快慢的問題.

其實, 我多少懷疑 Yahoo 會有特殊的處理方式, 偶而把排序翻一下. 有時候排在第一頁好好的站, 同時會有一狗票被拉到後頭去幾天. 幾天後還是會回來. 我懷疑, 這樣的動作可能是想逼這些原先排前的站去買贊助席.

我所說的快慢, 是指你網站的變動, 引擎就會有所反應的時間差.
如果說, 網頁內容都一樣. 在 Google 先爬到第一頁, 在 Yahoo 比較晚上到第一頁. 那這只是兩家的算法不同.

我說的是, 譬如: 你把網站關掉兩天試試看. 那一家會在排序上有所反應. 要你關站一小時, 你一定不肯. 我們設想, 有一天不小心, 真的當站超過 24 小時的好了.
Google 與 MSN 大概都不會動. Yahoo 是一定會有反應.
當然, 是要在這三家的蜘蛛都同樣每天會去爬你的網頁的, 才能這樣比.
我所舉的例子是: 三家的蜘蛛都同樣 24 小時, 不斷的在爬著你家網頁內容者. 才能這樣的比.

有的人設的首頁是固定網頁, 內容幾個月才會變一次的. 有的蜘蛛也許一兩星期才爬你頁一次. 這樣的就比不來了.