请选择 进入手机版 | 继续访问电脑版

随州街

 找回密码
 立即注册

robots需要禁止后台目录吗

[复制链接]
内容导读:这个问题很简单。因为网站后台对于普通用户来说没有意义,为了解决蜘蛛抓取次数,所以应该禁止搜索引擎对网站后台的抓取。   
问题:robots需要禁止后台目录吗?
问题补充:在设置robots的时候不太确定是否要禁止后台目录,是否需要禁止呢?
回答:要知道这个问题,首先得搞清楚robots的意思和作用,robots的作用主要是告诉搜索引擎哪些页面可以抓取收录,哪些页面不要抓取收录。
对于网站后台,显然是不需要搜索引擎抓取和收录的,所以可以在robots设置禁止对网站后台的抓取。通常来说,只要能打开的页面链接搜索引擎蜘蛛都会去抓取,而蜘蛛抓取对于单个网站来说是有配额的,如果抓取后台的次数多了,就浪费了对其他有用页面的抓取,从这个方面来说,后台的页面也是需要禁止抓取的。
关于robots是否需要禁止后台目录的问题,笔者就简要的说这么多。总之来说,这个问题很简单。因为网站后台对于普通用户来说没有意义,为了解决蜘蛛抓取次数,所以应该禁止搜索引擎对网站后台的抓取。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|随州街 ( 鄂ICP备20004876号-5 )

GMT+8, 2022-5-29 15:48 , Processed in 1.140705 second(s), 20 queries .

黄亚东 友情赞助: 高佣联盟

公众号:亚东电商 站长VX:yadongtd

快速回复 返回顶部 返回列表