Google的爬虫叫做谷歌bot，信任若是你的网站统计能统计爬虫的流量，必定接见接见会见过很多谷歌bot。经过量番查问访问，Josh找到了启事。它也不理会JS代码，所以也不会像通俗用户那样点击了“编辑”链接后被主动转向到正常的未登录提示页上。在正常景象下，这个链接是没有问题问题标，由于外部的用户即便点了这个链接，他还需要输入有用的用户名和密码才干经过过程身份验证，是以他不成能进行编辑。这无疑是一件好事，由于爬虫只想帮你的网站前进流量。这个CMS斥地项目主若是为了让政府员工能建树或包庇他们本人的网站上的不竭转变的内容。是以，它大摇大摆地顺着网页上的链接把全数网站逛遍了，其中当然搜罗了问题问题为“删除网页”的网页！

　　全数事务的启事是这个CMS系统存在致命的裂缝，而且更晦气的是，它恰好碰上了Google的爬虫。可是，这个CMS却有一个致命的裂缝，那就是它的认证系统并没有搜罗像Googlebot这类爬虫在内！也就是说，Googlebot可以轻松经过过程它的认证系统！

　　由于Googlebot没有益用cookies，所以它可以轻松地绕过cookies验证。

　　可是，若是有一天，你创造本人的网站里的所有内容都被谷歌bot删除掉了，你会有若何的反响？我实在不是说从Google索引里删掉，而真的从你的处事器里！下面就是这样一个古怪的例子。

　　在Digg上面找到的这个故事里，Googlebot被思疑是删除掉全数网站的首恶！JoshBreackman在一间负责一个大型政府网站的CMS系统斥地工作的公间工作。但由于之前他们已经有一个网站，而且网站上面有丰富的内容，所以客户请求在新的网站正式上线之前，将旧网站的内容重组并上传到新网站里。蓝本在转移内容的过程中，有一个用户将内容从一个网页复制而后粘贴到此外一个网页上，其中搜罗了“编辑”链接，而这个链接是可以编辑内容的。

   。在查问访问中，他创造了一个外部的IP曾经进入系统，而且删除了所有系统里的内容！这个IP实在不是属于某些海内的黑客，或者方针是想破损政府网站的信息，而是属于谷歌bot.com的！也就是说，这个是一个谷歌bot爬虫！

　　那么Googlebot为甚么会这么做呢？它若何会偷偷地将一个网站的内容全数删掉了呢？难道Google与这个政府网站有过节？都不是。

　　大师都知道此刻的搜索引擎都是经过过程爬虫来收录网页内容的，当然，你也能够主动提交本人的网站，但接下来，还是会有各类各样的爬虫来惠临你的网站。不过不用怕，就算真有那么一天，也要快则等个十年八年，慢则几十年后。这是一个需时较长的过程，在几个月后，他们事实下场把所有的旧网站上的内容都转移到新的CMS系统里，而且把新网站正式放上线，公然浏览。当然，你的站得被谷歌关注才行。

　　但就在网站正式上线的第六天，他们俄然创造新网站上的所有内容都本人磨灭了！而且所有网页都指向了默许的“请输入内容”编辑页！

　　很自然地，Josh被请求对这个事务进行彻查。Google的方针是要将全球的信息都收录起来，可见作为Google的先锋戎行，Googlebot必定会不竭地加强，或者有一天，它们真的会像Philipp写的科幻短文那样，会上门偷听你所说的话，或者把你家的垃圾桶全搬走查问访问呢。
信息网址：http://www.khcha.com/ziyuan/view10337.htm