请选择 进入手机版 | 继续访问电脑版

随州街

 找回密码
 立即注册

为什么百度pc端的蜘蛛会抓取移动端页面

[复制链接]
内容导读:通过百度方面的解释,我们可以很清楚的看到,无论是百度pc端的蜘蛛抓移动页面,还是移动端的蜘蛛抓pc页面,其实影响都不大。想要减少它们之间的交叉抓取,我们能做的就是把URL处理得更加明显,帮助蜘蛛来判断。   
问题:为什么百度pc端的蜘蛛会抓取移动端页面?
回答:先看看百度搜索方面怎么说
百度爬虫会尽可能使用移动UA抓取移动端页面,但对于未知的URL,爬虫不能准确预判它是pc端还是移动端,所以可能使用pc UA爬虫抓取,只要能正常抓回页面,就不会影响到网站的内容收录。

从百度方面的回答里面,我们可以得出几个结论:
1、百度抓取pc端的蜘蛛和抓取移动端的蜘蛛不同,但中间没有严格的界线,在预判不准确的情况下,这两种蜘蛛可能会相互抓取。
2、只要页面被抓,不管是pc端还是移动端UA抓,都不影响到页面收录。
3、要注意下页面URL的处理,方便百度搜索蜘蛛做出更加准确的判断,减少两端蜘蛛交叉抓取。
通过百度方面的解释,我们可以很清楚的看到,无论是百度pc端的蜘蛛抓移动页面,还是移动端的蜘蛛抓pc页面,其实影响都不大。想要减少它们之间的交叉抓取,我们能做的就是把URL处理得更加明显,帮助蜘蛛来判断。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|随州街 ( 鄂ICP备20004876号-5 )

GMT+8, 2021-8-5 00:39 , Processed in 1.140741 second(s), 17 queries .

黄亚东 友情赞助: 高佣联盟

公众号:亚东电商 站长VX:yadongtd

快速回复 返回顶部 返回列表