検索エンジン登録メモ
メモ
Yahoo Slurpはここから召喚
償還に成功すると以下のログが出る。以下 apacheのログの1部
"GET /robots.txt HTTP/1.0" 200 31 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"ちなみに、Slurpという名前は2002年に買収したinktomiのクローラ名から来ている。Wikipedia(en)を見るのが良いかな
Google botsはここから召喚
償還に成功すると以下のログが出る。以下 apacheのログの1部
"GET /robots.txt HTTP/1.1" 200 31 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
msnbotはここから召喚
償還に成功すると以下のログが出る。以下 apacheのログの1部
"GET /robots.txt HTTP/1.0" 200 31 "-" "msnbot/1.0 (+http://search.msn.com/msnbot.htm)"
About this entry
You’re currently reading “検索エンジン登録メモ,” an entry on hana saki hoko ru by ryusendo
- Published:
- 5am on 12/06/07
- Category:
- web technology
- Tags:
- spider
No Comments
Jump to comment form | comments rss | trackback uri