从现象来看,我的直觉是robots文件有问题。可是打开robots文件看了看,实在看不出什么问题,是很简单的允许所有搜索引擎抓取。Robots文件里多一个斜杠少一个斜杠,天差地别,所以我瞪大了眼睛仔细看,确实看不出什么问题。
这时细节要发挥作用了。我用线上robots文件验证工具查了一下,三个工具有两个工具显示文件最前面多出一个莫名其妙的问号,就像英文电脑没装中 文字体打开中文网站时看到的那种问号。直接在浏览器打开robots文件,或者对方把文件传给我,用编辑软件打开,都看不到这个问号。
经过简单对话,发现这位朋友使用的是Windows Vista操作系统。以前就听说过Windows Vista系统有时候在处理文字时编码会有问题。不知道什么原因。不过结果是robots文件编码可能出现问题,搜索引擎抓取后产生错误理解,结果不抓取网页。
我在我的电脑里把文件重新存一遍,传给对方。对方不打开不编辑,直接上传网页空间,几天后,抓取开始正常。
另一个出现问题的是英文网站。在google.com搜关键词,排名三天两头在第一页到四五页之间跳来跳去。但是在google.cn排名稳定。因为是英文站,所以在google.cn的排名毫无意义。
逻辑告诉我,这和网站语言或服务器位置有关。看了看网站,是纯英文,没有中文字,服务器在美国。检查了一下网站的反向链接,有大量的中文网站链接。 所以初步判断,这些链接被判断为有垃圾嫌疑。但是有很多英文网站其实都有大量垃圾中文链接,就算排名很差,但并不会出现这种现象。
我的直觉告诉我,虽然和大量中文网站为伍,但不至于被惩罚,而且惩罚也很少见到这种现象。
看网站页面看不出什么。突然发现一个细节。在google.com,这个网页的排名旁边写着”Translate this page” (翻译此页),这是个很奇怪的现象。我的电脑是英文系统,用的是google.com,英文网站的英文关键词排名,不应该出现翻译此页这个链接。这说明 Google是把这个网页当成中文网页了,所以在google.cn中排名稳定,但是在google.com中跳来跳去.
信息网址:http://www.khcha.com/ziyuan/view10715.htm