如果做好蜘蛛的爬行引导工作呢，这就需要从网站的内部结构入手。

1、导航的设置导航是蜘蛛爬行的引导线，良好的导航设置能够引领蜘蛛一级一级的深入到网站的最根本。

2、死链接的问题死链接就像是蜘蛛在爬行的时候撞到了墙，路被堵住了，蜘蛛就会换一条路去走，如果网站内部过多的死链接，老是让蜘蛛撞墙，后果可想而知。长此以往，不仅阻碍蜘蛛对于网站内容的深入抓取，而且蜘蛛撞墙撞多了以后恐怕也不会再来了吧。为了保险起见可以再增加一个404页面。

3、文章内链的合理布局在文章中合理的设置关键词以及长尾关键词链接，让蜘蛛可以更深入的爬行到其他东西，并形成文章、栏目、首页之间的相互串联，让蜘蛛畅通无阻的在你的网站内部进行爬行。

4、网站的URL问题URL务必要简单，不要搞太多的乱七八糟的字符，蜘蛛爬久了会晕的。不管搜索引擎技术的发展对于动态url抓取的程度如何，简单轻减得东西无疑更容易获得记忆。