频道

  • 扫一扫安装书房APP

  • 扫一扫关注微信号

告诉网络爬虫哪些可以被抓取

215阅读 3页璞上传 举报/认领 展开

本文档由 璞 分享于2016-03-31 13:07

robots.txt文件是一个文本文件，这个文件用来告诉搜索引擎蜘蛛网站的哪些部分应该被抓取，哪些部分不用抓取。
文档格式：
.pdf
文档大小：
381.16K
文档页数：
3页
顶 /踩数：
0 /  0
收藏人数：
0
评论次数：
0
文档热度：
文档分类：
IT计算机  —  SEO
添加到豆单
文档标签：
SEO 搜索引擎优化
系统标签：
抓取 爬虫 告诉 记事本 disallow 蜘蛛网
下载文档
收藏
打印
转格式
转本文档 转其他文档

君，已阅读到文档的结尾了呢~~

立即下载 加入会员，超低价下载
下载文档 加入会员 超低价下载
菜单
全屏
上一页 /3下一页

扫扫二维码，随身浏览文档

手机或平板扫扫即可继续访问

推荐豆丁书房APP  

获取二维码

分享文档

将文档分享至：
分享完整地址
文档地址： 复制
粘贴到BBS或博客
flash地址： 复制

支持嵌入FLASH地址的网站使用

html代码： 复制

默认尺寸450px*300px480px*400px650px*490px

支持嵌入HTML代码的网站使用

分
享
最
近
收
藏82
分享到