SOPOWSEOS-速贝网搜宝官方直营站-什么是爬行器、搜索机器人(robots)、蜘蛛（spider）？

爬行器又名搜索机器人（robots）/蜘蛛（spider），爬行器是一个自动提取网页的程序，是搜索引擎的重要组成部分。作为爬虫来讲，就是尽可能多和快的给搜索引擎输送网页，实现强大的数据支持。爬行器是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其他链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。
下面列出各大搜索引擎蜘蛛名字:
google蜘蛛： googlebot 　　
百度蜘蛛：baiduspider 　　
yahoo蜘蛛：slurp 　　
alexa蜘蛛：ia_archiver 　　
msn蜘蛛：msnbot 　　
altavista蜘蛛：scooter 　　
lycos蜘蛛： lycos_spider_(t-rex) 　　
alltheweb蜘蛛： fast-webcrawler/ 　　
inktomi蜘蛛： slurp 　　
有道蜘蛛：YodaoBot和OutfoxBot