网站的收录是由空间、网站、内容、抓取量、页面质量决定的。
搜索引擎蜘蛛爬行的过程是这样的,首先检测网站的robots.txt文件,确定哪些内容禁止抓取,哪些内容允许抓取等信息,确定robots.txt允许爬取之后,进入我们网站的首页,然后通过首页的链接爬取到我们网站中的内容页或者栏目页,之后再通过栏目页到达我们的文章页。
既然已经知道了搜索引擎抓取我们网站的流程,那么我们接下来就要为您分析影响搜索引擎抓取的因素了,首先
1、网站速度的影响
机房问题、dns问题、cdn加速问题、服务器带宽、服务器硬件、操作系统、服务器软件以及服务器所安装的程序,这些都有可能影响我们网站的打开的速度。
2、nofollow标签的合理使用
nofollow是一个HTML标签的属性值。这个标签的意义是告诉搜索引擎”不要追踪此网页上的链接”或”不要追踪此特定链接。那么我们所要做的就是,用nofollow来屏蔽掉网站页面重复出现的链接以及对seo没有很高价值的页面,以减少网站权重的分散,并且可以减少搜索引擎重复抓取网站内每个页面的重复链接,以提高搜索引擎抓取效率。
3、网站硬盘问题
如在服务器里面安装多个虚拟机,导致硬盘转速变慢,有时会导致搜索引擎打不开网站。
4、返回码问题
比如同一个链接返回不同的返回码,又或者404页面返回200等
5、安全软件问题
比如开启了防火墙规则、屏蔽了网站端口、开启防采集规则、开启防攻击规则等,导致了搜索引擎同一时间由于大量访问网站,而导致被安全软件拦截。
6、外链问题
我们发外链的目的有两个,一个是吸引搜索引擎来抓取我们网站(引蜘蛛)另外一个就是提升网站的排名。外链首先要保证不能单纯的指向首页,要把外链做到指向栏目页、文章页的都有一些。
另外做外链的时候一定要考虑一下几个因素:多样性、集中性、平衡性、相关性、准确性、高质量性、人文性等。
7、网站的权重
网站权重是搜索引擎对这个网站信任度的一个体现,如果网站的权重够高,那么搜索引擎抓取的也相应的会比较及时,反之则是网站权重低,搜索引擎对其信任度不高,也许蜘蛛会很久来访问网站一次,相应的抓取频率就很低了。
8、网站地图
网站地图是将网站的所有连接,最直观的反应给搜索引擎,可以提高搜素引擎的抓取效率,同时也为增加网站的收录提供了良好的帮助。
9、推广
网站前期的推广也非常重要,前期推广包含QQ群推广、QQ空间推广、邮件推广、软文推广、论坛外链推广、平台信息推广。所有能引导来用户点击的推广都可以,当然一定要是良性的推广。因为有点击就会给予点击权重,而网页是具有一定权重以后才会被收录。
10、pr
pr值是谷歌使用的衡量网站质量的一套标准,但是pr对于百度seo来说作用是非常小的,只是能够给我们提供一个参考价值,但是相对的来说pr的价值并不是很大。
11、url静态化
URL静态化的目的是有利于网站的排名,虽然现在搜索引擎已经可以收录动态地址,但是在在排名上静态化的页面比动态页面更有优势, 并且URL静态化将更有利于增加搜索引擎的信任度。但是,如果网站真的做不了静态化的话,那就尽量使用短的url并且url中尽量少的使用动态参数。
12、url的唯一性
网站中的同一个页面,只对应一个url地址;如果网站上多种url都能访问到同样的内容的话,那么就会出现以下问题:
a、搜索引擎会选一种url为标准,可能会和正版不同
b、用户可能为同一网页的不同url做推荐,多种url形式分散了该网页的权重
建议:
a、如果你的网站上已经存在多种url形式,建议按以下方式来处理:在系统中只使用正常形式url,不让用户接触到非正常形式的url
b、不把session id、统计代码等不必要的内容放在url中
c、不同形式的url,301永久跳转到正常形式防止用户输错而启用的备用域名.301永久跳转到主域名
d、使用robots.txt禁止百度蜘蛛抓取你不想向用户展示的形式
13、ulr带关键词
尽量在url中带上网站的关键词(拼音),这样会在排名上面稍微的会占据一点因素,要知道百度是中文搜索引擎,对拼音的分析能力是很强大的。
14、代码因素
网站的代码要符合w3c的标准,结构层、表现层、行为层标签都应该完整,建议使用开源程序。如:我的博客使用的wordpress程序。
15、head信息的正确性
网站的三大标签:标题标签(title)、关键词标签(keywords)、描述标签(description)
16、内容的原创性
前面有说到原创的内容一定会被收录,只不过是时间的问题而已,不论哪个搜素引擎,都是喜欢原创的内容,网站内容的原创性直接关系到搜索引擎对你网站的信任度,信任度又可以通过权重这个参考来反应出来,所以,网站内容的原创性是网站优化的重中之重。
17、内容的重复度
转载、或者是采集的文章,页面的文字、页面都和之前页面一样,具有非常高的重复度,那么百度就会计算你和其他网站内容的重复度,搜索引擎是一个喜新厌旧的家伙,如果每次你所发的内容重复度都很高的话,那么渐渐地蜘蛛就会失去对你网站的兴趣。
18、网站的结构
网站结构混乱,内链系统杂乱无章也会导致收录缓慢。比如不同栏目的内容互相做链接,而有的内容链接很多另一些内页链接很少。网站的层次也是一个原因,对于一般的企业站点三层已经足够放置所有的内容,而如果层次太深会影响内页的收录。
总结:
影响收录的因素大概有这么几个因素:站内站外、技术性因素、文章的因素,这些如果够做好的话,基本上来说,网站的收录就不是个事。