搜索引擎的去重原理是什么?

搜索引擎一般会对已经抓取过的重复页面进行归类处理,比如,判断某个站点是否包含大量的重复页面,或者该站点是否完全采集其他站点的内容等,以决定以后对该站点的抓取情况或是否直接屏蔽抓取。

去重的工作一般会在分词之后和索引之前进行,搜索引擎会在页面已经分出的关键词中,提取部分具有代表性的关键词,然后计算这些关键词的“指纹”。每一个网页都会有个这样的特征指纹,当新抓取的网页的特征指纹和已索引网页的关键词指纹有重合时,那么该网页就可能会被搜索引擎视为重复内容而放弃索引。

因此网络上流行的大部分伪原创工具,不是不能欺骗搜索引擎,就是把内容做的鬼都读不通,所以理论上使用普通伪原创工具不能得到搜索引擎的正常收录和排名。但是由于搜索百度并不是对所有的重复页面都直接抛弃不索引,而是会根据重复网页所在网站的权重适当放宽索引标准,这样使得部分作弊者有机可乘,利用网站的高权重,大量采集其他站点的内容获取搜索流量。不过经过百度搜索多次升级算法,对采集重复信息,垃圾页面进行了多次重量级打击。

所以SEO在面对网站内容时,不应该再以伪原创的角度去建设,而是以提升用户体验度的目的去建设,虽然后者的内容不一定全是原创,一般如果网站权重没有大问题,都会得到健康的发展。

另外,不仅仅是搜索引擎需要“网页去重”,自己做网站也需要对站内页面进行去重。对于分类信息或者新闻类的网站,如果不加以限制,用户所发布的信息必然会有大量的重复,这样不仅在SEO方面表现不好,站内用户体验也会降很多。

版权所有:《博客之家
文章标题:《搜索引擎的去重原理是什么?
除非注明,文章均为 《博客之家》 原创
转载请注明本文短网址:http://bk.likinming.com/post-1348.html  [生成短网址]

日期:2018年01月24日 星期三   分类:好文分享   浏览(582)
本文已经被百度收录,点击查看详情
声明:本页信息由网友自行发布或来源于网络,真实性、合法性由发布人负责,请仔细甄别!本站只为传递信息,我们不做任何双方证明,也不承担任何法律责任。免费发布信息

留言/评论:◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

自动获取QQ

昵称

邮箱

网址

网站收录提交

  • 名称:
  • 网址:

网址统计

  • 收录网址:816 个
  • 发布文章:790 条
  • 本站运行:5年2月29天
Copyright © 2012 - 2018 by 李明关于本站免责声明本站下载站点地图sitemap广告联系