Baidu spiderはよく訪れて、すぐにindexしてくれる
googleに比べて全然早い。1日後には確実にindexされてる気がするな。 googleは結構時間かかるよね。1週間程度かかったページがある。 googleはhtmlがちゃんと書いてないと、indexしない傾向もあるかも。
Posted at 10am on 12/11/07 | Posted in web technology | no responses | read on
検索エンジン登録メモ
メモ
Yahoo Slurpはここから召喚
償還に成功すると以下のログが出る。以下 apacheのログの１部
"GET /robots.txt HTTP/1.0" 200 31 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"ちなみに、Slurpという名前は2002年に買収したinktomiのクローラ名から来ている。Wikipedia(en)を見るのが良いかな
Google botsはここから召喚
償還に成功すると以下のログが出る。以下 apacheのログの１部
"GET /robots.txt HTTP/1.1" 200 31 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
msnbotはここから召喚
償還に成功すると以下のログが出る。以下 apacheのログの１部
"GET /robots.txt HTTP/1.0" 200 31 "-" "msnbot/1.0 (+http://search.msn.com/msnbot.htm)"
Posted at 5am on 12/06/07 | Posted in web technology | no responses | read on