海科SEO顾问为您快速优化网站,网站SEO优化 营销型网站建设第一品牌!
189-3859-6332

轻松、简单、快速!值得信赖的SEO顾问服务。

专业 敬业 职业  

您现在的位置:首页 > 最新资讯 >

搜索引擎蜘蛛抓取的规律

人气: 发表时间:2017-06-26 21:49

网页抓取主要体现在三个方面:

1、搜寻新网页;

2、搜寻自上次搜集后有改变的网页;

3、发现自从上次搜集后已经不再存了的网页,并从库中删除。

百度蜘蛛通常是尽可能的首先抓取重要性的网页,比如网站的首页和权重比较高的网页,这样就可以保证在有限的资源内,尽可能地照顾到那些重要性高的网页。

怎样才算得上重要性高的网页呢,主要由这三个方面决定的:

一:链接收欢迎度程度
链接欢迎度主要是由反向链接的数目和质量决定的。
二:链接重要程度度
蜘蛛首先要对URL的样式进行筛选,首先考察字符串本身的格式,它主要通过一些模式,如 包含“.com”或“home”的URL重要度就比较高,还有一些包含“/”的URL重要度高等。

三:链接深度
平均链接的深度表示在一个种子站点集合中,每个种子站点如果存在一条链路到达该网页,那么平均链接深度又是该网页的一个链接指标,因为距离种子站点越近说明被访问的机会越多。

除此之外还有链接网页的PR,百度权重内容是否丰富,文章质量等等都影响到蜘蛛抓取。

本帖的地址:http://www.se-o.cn/news/1384.html
本文来自海科SEO(www.se-o.cn)整理编辑,转载本站文章请注明出处。