VC_搜索引擎网络爬虫设计与实现
本文档由 lxm15930 分享于2011-03-11 22:32
本文首先详细介绍了基于英特网的搜索引擎的系统结构,然后具体阐述了如何设计并实现搜索引擎的搜索器——网络爬虫。多线程网络爬虫程序是从指定的Web页面中按照宽度优先算法进行解析、搜索,并把搜索到的每条URL进行抓取、保存并且以URL为新的入口在互联网上进行不断的爬行的自动执行后台程序。
分享:
君,已阅读到文档的结尾了呢~~