Baidu spiderはよく訪れて、すぐにindexしてくれる

ryusendo — Tue, 11 Dec 2007 10:25:00 +0900

googleに比べて全然早い。1日後には確実にindexされてる気がするな。 googleは結構時間かかるよね。1週間程度かかったページがある。 googleはhtmlがちゃんと書いてないと、indexしない傾向もあるかも。

検索エンジン登録メモ

ryusendo — Thu, 06 Dec 2007 05:06:00 +0900

メモ

償還に成功すると以下のログが出る。以下 apacheのログの１部

 "GET /robots.txt HTTP/1.0" 200 31 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

ちなみに、Slurpという名前は2002年に買収したinktomiのクローラ名から来ている。Wikipedia(en)を見るのが良いかな

償還に成功すると以下のログが出る。以下 apacheのログの１部

 "GET /robots.txt HTTP/1.1" 200 31 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

償還に成功すると以下のログが出る。以下 apacheのログの１部

 "GET /robots.txt HTTP/1.0" 200 31 "-" "msnbot/1.0 (+http://search.msn.com/msnbot.htm)"