DJ小向今天要谈是百度对Robots.txt态度又是若何（很多人会说百度对Robots.txt 反响很缓慢，就像301跳转一样），当然我们知道Robots.txt的浸染甚么，同时也知道若何来设置Robots.txt，可是有没有伴侣去研究过百度对Robots.txt态度是若何样的了，百度又是以甚么样的编制来抓取Robots.txt文件，还有Robots.txt的生效时刻又是多久了或者说百度对网站的Robots.txt的抓取频率又是多久? 很多问题问题就摆在我们眼前，可是很少有人可以答复上来，和小向之前一样成天说百度的不是，从来没有想过本人的独霸编制，此刻小向回想起来那时是有何等的傻，我记得DJ小向在博客中写到过"Robost.txt—SEO细节独霸" 那时很天真，当然分化编制很切确，可是有一点被遗漏了、就是SE对Robots.txt的抓取频率是多久，还有生效时刻又是多久，若是那时想通了这个问题问题，在网站还没有上传FTP之前就写好Robots.txt，就不会闪现网站没有成型就被百度抓取到!

　　经过过程这半个月的观查DJ小向得出2条百度对Robots.txt结论：

　　1、百度对Robots.txt 的抓取频率是一个周期右左

　　2、百度对Robots.txt的抓取是由IP抓取，而不是按域名

　　可能很多伴侣会不信任，小向也有时不信任，可是用实例我们可以证实以上说法的正常率很高。但不论若何样每小我都有每小我的概念、百度不是我家开的、所以我们很多都只是料想!

　　小向前段时刻为了证实本人对网站的料想、做了一个小小的查问访问，呵正好这个查问访问可以用来证实DJ小向对2条Robots.tx的结论：

百度对Robots.txt抓取时刻，记得DJ小向在“搜索引擎对网站收录分化”中提过，同是也在文章中做了个料想，可些只猜对了一半，网站是快照了、但到此刻百度对lcch.cn的态度仍然没有放出网站问题问题与描写，这让DJ小向很郁悒，按正常来讲既然有了新的快照，那么网站问题问题与描写也由于放出来了，为甚么DJ小向手里这个新站快照后没有被放出了!

　　Robots.txt 不用我说大师都知道，Robots.txt可以说是搜索引擎中的一个公共和谈，而我们可以经过过程Robots.txt文件告诉蜘蛛法式榜样在处事器上甚么文件是可以被查看的、甚么文件是不成以被查看的!若何设置Robots.txt 来对搜索引擎抓取，大师可以看看“Robots.txt文件_操作解析”。
信息网址：http://www.khcha.com/ziyuan/view10020.htm