1、网站地图
假设首页获得1000个蜘蛛，有800个蜘蛛导向了那些最重要的页面。 有100个被NOFOLLOW 链接消耗掉(NOFOLLOW 仍然会消耗蜘蛛，但是为其它蜘蛛提供了更多爬行时间，所以仍是有利的)，还有100个跑向了网站地图。网站地图是全站显示的一个重要链接，他的任务是不考虑用户体验的情况下，如何把蜘蛛合理分配到全站，确保每个页面都有机会抓取!
2、全站链接
主要用在小型网站(不超过10个词的排名)，可以放在全站每一页做链接来增加排名，其目的就是使蜘蛛来到每一页后都有机会来到该链接，从而一次次增加其权重。而对于大型网站，全站链接则是为了提升这些“重要页”或“中转页”的蜘蛛量，从而通过这些页面中转到更多的页面中。
举例 800 个蜘蛛进入了重要页或中转页。其中有100个是需要排名的直接页面，另外700个则是分配者，他们链接了10000个页面。那么这10000个页面在一个月内几乎都有可能被蜘蛛跑一次。从而达到了按需供给的目标：需求量大的页面蜘蛛每天跑几次，需求量小只为 收录的页面或是排名很容易的页面，蜘蛛每几天才会跑一次。达到了全站的最优化处理。
如B2B网站上的产品行业分类并没有在全站显示，但在很多页面上都有，通过这些链接，会把蜘蛛再分配一次。合理运用好网站地图和全站链接，是对网站内部的页面作一次重要分配，这是内部优化重要的部分。
那么网站该做成什么样的结构使得蜘蛛能够做到最好的按需分配呢?
先列出一共有多少种页面：
首页、重要页、中转页、长尾页、普通页——所有网站的页面都可以归类到这5类。
首页：首页我们一般做战略词的排名，也有的就直接放弃了;重要页：排名难度较大的页面; 中转页：不需要排名，但是一般是分类功能，用户从此链接可以点向更多他需要的页面。比如说网址导航网站的“更多网站”。
长尾页：做一些难度不大的词的排名; 普通页：不刻意追求排名，但需要保证收录的页面。但也许这些页面也会获得很大的流量，因为数量巨大。比如论坛的一些贴子。
网站的内部大概就只会出现这些页面。分布方法：
1、首页中一般把蜘蛛引导进重要页和中转页，如果出现长尾页和普通页，那么一般设置成 NOFOLLOW; 2、重要页中转页上出现尽可能多的长尾页普通页，由他们作二次蜘蛛中转，尽可能分配给他们; 3、重要页一般在保持用户体验的情况下作为全站链接(或在首页及其它重要页上加上链接)，尽可能分配到足够多的蜘蛛; 4、在重要页上，保持用户体验的情况下，多安排点长尾页的链接; 5、网站地图内放上全部的重要页、中转页、也可以放上长尾页; 6、从重要页或中转页，点击到普通页，尽量不要超过 2步-3步，这样普通页的收录就会不成问题。
注意：这5类的区分并不那么明显，有的页既是重要页，又是中转页;有的页又是介于长尾页和重要页的中间。普通页中也会出现长尾页(如一个贴子做了一个还算不错的关键词排名，为了使其排名更好，则在中转页或重要页上将其突出一下)，其核心原则是“按需分配”，调整平衡。
当然了，以上是粗略的分析，一般我们做SEO，是先经过这样粗略的分析，实现一些最基础的目标，而如果我们的最终目标是接近完美，那么——就是要借助于数据研究了(互联网的任何动作都离不开数据研究)!
评论