VIP大讲堂(上海站)QA集锦——解析篇

网络推广 2021-07-10 11:52www.dzhlxh.cn网络推广竞价

上周为站长朋友们献出了VIP大讲堂上海站中关于SPIDER抓取建库方面的QA内容,本周继续将解析方面的QA内容奉上。

:我们的页面本身就很大,会不会解析不出来?

:页面本身很大倒没问题,赶集、安居客这些量都很大,没有问题。我刚才说的例子,你每次都follow出来新链接,随机把后面的参数去掉都不影响这个网页的正常访问,这种肯定有问题的。

:刚才说对URL的长度有要求,那对每一段、就是目录名的长度有没有要求

:没有要求,我们是要求url从www开始到结束,总长度不超过1024个字节

:站内重复内容是怎么判断的?文本内容一样结构不一样,算不算重复?

:算重复

:假设是整个页面全是Flash,如果我把一些栏目或者最新的内容隐藏掉,不影响美观隐藏掉,如果用hidden属性能不能提取出来?CSS可不可以?

:hidden可以提出来,但如果是注释就不会管。CSS不可以。

:页面大小不超过1兆,是指页面压缩以前还是以后。

:指页面压缩以后,不要超过1兆

:我网站的信息已经过时了,但网页返回的是200,会受惩罚?为什么呀?

:用户在搜索结果里点了你的结果,导流导到你的网站,但没什么可看的,对用户没有用,百度当然不喜欢。

:现在我们很多网站,为了让用户觉得有意思,内容没了就放一张图片,写一些有意思的话,什么“工程师去哪啦”之类的,对百度友好不?

:最好不要用,我知道站点是想让百度当内容死链来识别,但内容死链识别起来是有准确率和召回率风险的。

:我们团购网站的确会有过期团购的页面,会受惩罚吗

:如果量特别大、点击量很大的话肯定会有惩罚的。有些可以当内容死链被分析出来,如果分析不出来,会被一些其他的策略挖出来,会有这样的问题。

:刚才说资讯内容页面,上面有个发布时间好,那如果页面上没有时间呢?

  答:那我们往往是按当时抓取的时间来做判定。

:评论里面时间重要吗。

:百度更重视主体内容的时间,评论不算主体内容。

:我们是个平台,很多产品其实只是一个型号变更了,其实颜色都是一模一样的,对蜘蛛而言仅仅只是几个字符,会被识别为重复吗

:如果是一个产品的结构化信息的话,应该不会被认为是重复。如果你是简单内容摘要的方式进行介绍的话,可能会存在重复问题。

:静态URL和动态URL区别大吗?

:不大,我们现在认为静态和动态都一样的,因为从url上面他能够识别出来,但是抓取回来的东西不太一样。所以现在认为无论你是静态还是动态,我们都认为同样都是url来对待。

Copyright © 2016-2025 www.dzhlxh.cn 金源码 版权所有 Power by

网站模板下载|网络推广|微博营销|seo优化|视频营销|网络营销|微信营销|网站建设|织梦模板|小程序模板