seo教程:搜索引擎抓取策略-跃飞seo博客

今天跃飞seo博客的seo教程将详细讲解搜索引擎抓取策略,明白搜索引擎抓取策略,对我们做seo优化非常有帮助,在学习seo教程中有什么问题,可以联系跃飞seo,我们会及时解答。


搜索引擎工作主要是分为四个步骤:抓取——去重——建立索引——搜索展现;抓取是第一步,所以非常重要,搜索引擎抓取策略一共有4种策略:
1、深度优先
搜索引擎深度优先的抓取策略,用一句话解释就是:一条路走到黑;比如搜索引擎抓取跃飞seo博客,根据深度优先策略,搜索引擎会先抓取首页,然后是首页下面其中一个栏目页比如seo教程,然后继续抓取seo教程栏目下的内容页,直到不能再向下抓取为止再返回起始页抓取下一条。抓取路径就是:首页→seo教程→文章(seo教程:搜索引擎工作原理-跃飞seo博客)→返回首页抓取下一条
2、广度优先
广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页,然后再选择其中一个链接网页,继续去抓取在此网页中链接的所有网页。
3、大站优先
大型网站每天更新的内容非常多,用户量也非常的大,比如新浪、网易等,为了满足大部分用户能够及时获取相关信息的需求,搜索引擎就会频繁抓取这些网站的内容,搜索引擎蜘蛛甚至会24小时停留在这些网站上面。
4、种子网站优先
每一个搜索引擎都有一批它自己的种子网站,这些种子网站都是搜索引擎工作人员人工筛选的,比如分类导航网站,hao123,360导航,2345导航等;因为这些网站集成了大量优质的网站且经常更新,所以通过这些种子网站就可以找到更多的优质网站,满足大部分用户的需求。
搜索引擎蜘蛛是分布式的,多线程多任务这四种策略都是同时进行的,大站优先和种子网站优先都是为了满足大部分用户的常规需求,也符合28定律,20%的网站满足80%用户的常规需求,这也为我们寻找外链资源提供了思路。深度优先和广度优先一般是根据权重来选择的,页面的权重高,搜索引擎抓取通常会用深度优先策略,页面权重低,一般就是以广度优先来抓取,新站,小站内容收录慢也有这个原因。

还有一种抓取方式是重返抓取,这个比较好理解,就是搜索引擎昨天抓取过的页面,今天更新了内容,搜索引擎会再来抓取这个页面,重返抓取也有2种情况:
1、全部重返
全部重访指的是蜘蛛上次抓取的链接,然后在这一个月的某一天,全部重新去访问抓取一次
2、单个重返
单个重访一般都是针对某个页面更新的频率比较快比较稳定的页面 进行重返抓取。
如果你网站某个页面一个月都不更新,那么搜索引擎第一天会抓取,第二天会抓取,第三天就不会排蜘蛛来抓取这个页面,可能到下一个月进行全部重返时才再抓取一次。这也是为什么我们要经常更新内容的原因。

搜索引擎抓取策略今天就到这里,后续我们的seo教程会更新更多的搜索引擎工作原理,请保持对跃飞seo博客的关注。

本文链接:http://www.945seo.com/seo/60.html

内容版权声明:文章为跃飞seo原创文章,转载请注明来源。文章部分图片及内容来源于网络,如有侵权,请及时联系我们删除