検索エンジン登録メモ

メモ

Yahoo Slurpはここから召喚

Yahoo Slurp

償還に成功すると以下のログが出る。以下 apacheのログの1部

 "GET /robots.txt HTTP/1.0" 200 31 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
ちなみに、Slurpという名前は2002年に買収したinktomiのクローラ名から来ている。Wikipedia(en)を見るのが良いかな

Google botsはここから召喚

Googlebot

償還に成功すると以下のログが出る。以下 apacheのログの1部

 "GET /robots.txt HTTP/1.1" 200 31 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

msnbotはここから召喚

msnbot

償還に成功すると以下のログが出る。以下 apacheのログの1部

 "GET /robots.txt HTTP/1.0" 200 31 "-" "msnbot/1.0 (+http://search.msn.com/msnbot.htm)"

About this entry