做网站优化要讨好的是搜索引擎，间接说来，就是讨好蜘蛛爬虫。虽然蜘蛛爬虫仅仅是一堵程序代码，作为助推网站收录的方法之一，我们seoer可以摸清楚这个程序机器人的来龙去脉，做到知其然并知其所以然。

　　蜘蛛如何爬行?

　　先问seoer一个问题，自然界的蜘蛛如何爬行?没错，就是通过自己织的网来实现爬行。搜索引擎爬虫之所以被称为“蜘蛛”，自然是和自然界蜘蛛有相似的习性。

　　互联网中蜘蛛爬虫爬行所依赖的“网”就是网站的链接。Seoer不仅要提供强大的外链，还有做好内部链接。同时，网站sitemap也有利于蜘蛛爬虫按图索骥抓取网站内容。

　　如果网站收录不好，那么就是网站中的链接出现了问题，要么是死链接，要么就是垃圾链接。站长应该及时处理这样的问题。

　　蜘蛛爬虫主抓取页面的习性

　　织好网之后，蜘蛛就会顺着网爬到网站首页或者内页，并试图抓取网站的内容。注意看，这里说的是“试图”抓取，它不一定能成功，因为我们的网页中会存在一些对蜘蛛抓取内容不友好的因素。

　　1)服务器不稳定。好的服务器可以保证网站空间的稳定和安全。相反，如果蜘蛛抓取内容时空间不稳定，造成页面打不开，那么蜘蛛就会无功而返。如果因为服务器问题周而复始的出现网页打不开现象，蜘蛛就会放弃你的网站。

　　2)页面有不友好的代码。搜索引擎虽然强大，但还有一些技术瓶颈要突破，网页中存在一些js、flash、ajax，就会不利于蜘蛛爬行。

　　蜘蛛的索引页面

　　如果以上所说的问题都不存在，那么蜘蛛就会开始正常的索引工作，此时影响到蜘蛛抓取内容的因素就是网站内容质量。此时会引起蜘蛛厌恶的则是低质量的伪原创。因此，seoer在做软文编辑时要把内容提高到深度伪原创或者原创的高度。

　　页面的放出

　　通过以上层层关卡，如果站长都过关，那么搜索引擎收录网站内容就不成问题。这里需要提的一个问题是，尽管搜索引擎已经收录网站内容，但是不一定会马上放到搜索页面，这是由于百度自身审核机制所导致，这也是我们用百度站长工具检索的收录量和直接用site在搜索框检测的结果不一样的原因。

　　从上可以看出，搜索引擎蜘蛛爬虫抓取网站内容的流程并不复杂，而seoer要做的seo工作也只要按照这个流程来就可以。