Googlebot 我们通常称之为Google机器人或者Google探测器。Google“派遣”了各种各样的Googlebot来获取网页的内容。
Googlebot 有哪些版本？主要为：
1、Googlebot：抓取网页上文字的内容。所获得的信息被储存在Google网页搜索以及新闻搜索的数据库里。我们所说的Google机器人主要是指上述情况。
2、Googlebot-Mobile：抓取网页上文字内容来供Google手机搜索使用。
3、Googlebot-Image：抓取网页上图片的内容，并将其存入到Google 图片搜索数据库中。
4、Mediapartners-Google：抓取网页上文字的内容来对Google Adsense进行关键词分析。只有安装了Google Adsense的网页才会被Mediapartners-Google探测器爬取。
5、Adsbot-Google：抓取网页上文字的内容，并且用来给Google AdWords做参考。只有Google AdWords的目标网页才会被Adsbot-Google探测器爬取。
Googlebot、Mediapartners-Google 这些机器人非常勤快，如果它们影响到了你的服务器承受能力的话，你就可以用 robots.txt 文件来阻止它们。
