搜索引擎是如何对网页进行收录的

搜索引擎的网页抓取都是采取「大小通吃」的策略，也就是把网页中能发现的链接逐一加入到待抓取URL中，机械性的将新抓取的网页中的URL提取出来，这种方式虽然比较古老，但效果很好，这就是为什么很多站长反应蜘蛛来访问了，但没有收录的原因，这仅仅是第一阶段。