robots协议
浏览量：173次
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫扫除规范”（RobotsExclusionProtocol），网站经过Robots协议通知查找引擎哪些页面可以抓取，哪些页面不能抓取
是查找引擎的一部分来定位和索引互联网上的每个可能答复查找恳求的网页，一般只在评论robots的HTML标签或许robots.txt文件的时分运用。
标签：
[声明]
1.本博客内容均为网络转载，出于传递更多信息的目的；如转载稿涉及版权问题，请作者联系我们删除；
2.对于用户评论等信息，本网并不意味着赞同其观点或证实其内容的真实性；
3.对于不当转载或引用本网站内容而引起的任何纷争或其他损失，本网站不承担责任。
4.如果您发现本网站的内容侵犯了您的版权，请您的相关内容发至此邮箱【kefu@zmk188.com】，我们在确认后，会立即删除，
最新发布
热门关注标签
木门与定制家居产业 定制家居创新发展大会 红棉花板材 设计师阿爽 炬森五金 家居五金 家居一姐设计师阿爽 常见家具五金 活动五金件 铰链 滑轨 滑轨选购 铰链选购 橱柜五金 橱柜五金应该怎么选 厨房功能五金 厨房铰链 基础五金 功能五金 实木线条厂家 防止实木线条开裂 实木线条开裂 实木线条 实木线条安装 板材行业品牌 嘉柏仕家居 中国板材十大品牌 板材十大品牌 五金配件怎么选 五金配件 新房装修 选购五金 五金选购 家具五金配件 家具五金 全屋定制五金 全屋定制功能五金 广州家博会 饰面板美学专家 耀东华装饰材料 家具板材 澳思柏恩科技 澳思柏恩板材 无醛级环保板材 家居建材行业 五金配件介绍 装饰材料五金 建筑五金 现代家具五金工艺 五金工艺
