影响页面抓取的几个重要原因，影响蜘蛛爬行并最终影响到页面收录结果，深圳网站建设公司整理了主要有几个方面的原因。
1.网站的更新情况
一般来说，网站更新很快，蜘蛛就会更快地抓取网站的内容。如果网站的内容很长时间都没有任何的更新，蜘蛛也会相应调整对网站的爬行频率。更新频率对新闻等网站来说很关键。因此，保持每天定的更新数量，对吸引蜘蛛是非常重要的。
2.网站内容的质量
对于低质量的页面，搜索引擎一直是打击的，因此，创建高质量的内容，对于吸引蜘蛛是非常关键的，从这个角度来说，“内容制胜”是完全正确的。如果网页是低质量的，比如大量采集相同内容，页面核心内容空泛，就无法获得蜘蛛的青睐。
3.网站是否可以正常访问
网站是否可以正常访问对搜索引擎来说就是连通度。连通度要求网站不能经常访问不了，或者访问速度特别慢。从蜘蛛角度来看，希望能提供给检索客户的网页都是可以正常访问的页面，对于服务器反应速度慢或者经常死机的服务器，相关网站肯定会有负面的印象，严重的就是逐渐减少爬行，甚至剔除已经收录的页面。
在现实中，因为国内的服务器服务比较贵，另外，基于监管的要求，国内网站的建立需要有备案制度，需要经历网上上传备案信息等流程，部分中小网站的站长可能会租用国外的服务器服务．比如Godaddy（家提供名注册和互联网主机服务的美国公司）服务等。不过从国内访问国外服务器，距离较远的原因，访问慢或者死机情况不可避免，从长远来说，对网站的优化效果是个制约。如果要用心经营一个网站，还是尽量采用国内的服务器服务，可以选择些服务比较好、界面比较友好的服务器供应商，当前多家公司推出的云服务器就是不错的选择。
此外，搜索引擎会依据网站的综合表现，对网站进行评级，这个评级不能完全等同于权重，但是，评级的高低会影响到蜘蛛对网站的抓取策略。
在抓取频次方面，搜索引擎一般都提供可以调整抓取频次设置的工具，网站优化人员可以依据实际睛况进行调整。对干服务请求比较多的大型网站，可以通过调整频次的工具来减轻网站的压力。
在实际抓取过程中，如果遇到无法访问的抓取异常情况，会导致搜索引擎对网站的评级大大降低，相应影响抓取、索引、排序等系列优化效果，最终反馈到流量的损失上。
抓取异常的原因有很多，比如服务器不稳定，服务器直超负荷运行，或者协议出现了错误。因此，需要网站运维人员对网站的运行进行持续跟踪，确保网站稳定运行。在协议配置上，需要避免些低级的错误，比如Robot s的Disallow设置错误。曾经有次，一个公司管理人咨询网站优化人员，问他们委托外部开发人员做好网站后，在搜索引擎怎么都无法搜索到，是什么原因。网站优化人员直接在URL地址栏输入他的网站Robot s地址，赫然发现里面禁止了（Disallow命令）蜘蛛的爬行！
关于网站无法访问，还存在其他可能，比如网络运营商异常，即蜘蛛无法通过电信或者网通等服务商访问到网站；DNS异常，即蜘蛛无法正常解析网站IP，可能是地址错误，也可能是域名商封禁，遇到这种情况需要和域名商联系。还有的可能是网页的死链，比如当前页面已经失效或者出错等，可能部分网页已经批量下线，遇到这种情况，最好的方法是提交死链说明；如果是URL变更导致的旧的URL失效无法访问，最好设置301跳转，把旧的URL和相关权重过渡到新的页面来。当然，也可能是搜索引擎本身负荷过大，临时封禁。
针对已经抓取回来的数据，接着就是蜘蛛进行建库的环节。在这个环节里，搜索剖擎会依据些原则对链接的重要性进行判断。一般来说，判断的原则如下：内容是否原创，如果是，会获得加权；主体内容是否是鲜明的，即核心内容是否突出，如果是，会获得加权；内容是否丰富，如果内容非常丰富，会获得加权；用户体验是否好，比如页面比较流畅、广告加载少等，如果是，会获得加权等。
因此，我们在网站日常运营过程中，需要坚持如下几个原则。
(1)不要抄袭。因为独特的内容是所有搜索引擎公司都喜欢的，互联网鼓励原创。很多互联网公司希望通过大量采集网络内容来组织自己的网站，从网站优化角度来说，其实是不可取的行为。
(2)在网页内容设计的时候，要坚持主题内容突出，就是要让搜索引擎爬过来就能知道网页要表达的内容是什么，而不是在堆内容里去判断网站到底是做什么业务的。主题不突出，在很多经营混乱的网站里有典型案例，比如有的小说网站．800字的章切分到8个页面，每个页面大概100字，页面其余地方都是各种广告、各种无关内容信息。还有的网站，主体内容是个frame框架或者AJAX框架，蜘蛛能爬到
的信息都是无关内容。
(3)丰富的内容，即内容信息量大，内容的展示模式多样化。广告适当就是少嵌入广告，不要打开网页满屏都是花花绿绿的广告。因为广告加载时间计算在页面整体加载时间肉，如果广告加载时间过长，导致页面无法完全加载，就会造成页面空而短。同时，针对大量广告影响用户体验方面．百度于2013年5月17日发布公告，宣称针对低质量网页推出了“石榴算法”，旨在打击含有大量妨碍用户正常浏览的恶劣广告的页面，尤其是弹出大量低质广告、存在混淆页面主体内容的垃圾广告的页面。目前部分大型门户网站从营收的角度考虑，还是悬挂
大量的广告，作为网站优化人员，需要考虑这个问题。
(4)保持网页内容的可访问性。有些网页承载了很多的内容，但是使用JS、AJAX等方式进行呈现，对搜索引擎来说是无法识别的，这样就造成网页内容空而短，使网页的评级大大下降。
此外，在链接的重要程度方面，还有两个重要的判断原则：从目录层级来说，坚持浅层优先原则；从内链设计来说，坚持受欢迎页面优先原则。
所谓浅层优先，即搜索引擎在处理新链接、判断链接重要性的时候，会优先考虑URL更多的页面，即从URL组织上离首页域名更近的页面因此，网站优化在做重要页面优化的时候， 定要注意扁平化的原则，尽量缩短URL的中间环节。
既然浅层优先，那么是否可以把所有的页面平铺到网站根目录下，从而选到最好的优化效果？肯定不是，首先，优先是一个相对的概念，如果把所有的内容都放在根目录下，就无所谓优先了，重要的内容和不重要的内容没有任何区分。从网站优化角度来说，URL抓取后还用来分析网站的结构，通过URL的组成，大致判断内容的分组，网站优化人员可以通过URL的组成来完成关键词和关键词网页的组织。
比如www. abc. com/jiaoyu/可能这个组下的内容都是与教育相关的
下的内容都是与旅游相关的，如www. abc. com／jiaoyou/l.html。如www.abc.com／jiaoyu／1.html。ww .abc.com／lvyou／可能这个组合
目前在站内的受欢迎程度主要从以下指标反映出来。
●站内导向该页面的内链数量。
●站内通过自然浏览行为到达该页面的PV。
●该页面的点击流失率。
因此，从网站优化角度来说，如果你需要快速提高一个页面的搜索排名。
●多从其他页面做导向该页面的锚文本，特别是高PR页面。
●给该页面取个吸引人的标题，引导更多自然浏览用户单击链接到达该页面。
●提高页面的内容质量，降低页面的流量率。
好了，网站建设公司本文关于影响页面抓取的几个重要原因分析就到这里，谢谢您的关注，希望本站的文章能给你的网站优化工作有所帮助。博纳网络编辑整理。
