引导搜索引擎蜘蛛访问网站的5大技巧

蜘蛛其实就是搜索引擎用来访问页面的程序，英文叫spider，也称为机器人，英文为bot。有时候查看IIS日志就能看到各种蜘蛛访问网页的情况，对网站的优化起到一定的指导作用。当蜘蛛访问一个网站时，会发出页面访问请求并返回HTTP状态码，然后蜘蛛会把这些状态码存入自己的数据库，为以后的各种计算做铺垫...