index,nofollow：答应抓取本页，但防止跟踪链接。
Meta robots标签必须放在<head>和</head>之间，名目：
<meta name=”robots” content=”index,follow” />
content中的值决定答应抓取的类型，必须同时包含两个值：是不是答应索引（index）和是不是跟踪链接（follow，也能够懂得为是不是答应沿着网页中的超级链接持续抓取）。
以上1和4还有此外一种写法：
index,follow可以写成all，如：
<meta name=”robots” content=”all” />
noindex,nofollow可以写成none，如：
<meta name=”robots” content=”none” />
需要正视的是，robots Meta标签很多搜索引擎是不撑持的，只有多数搜索引擎能够辨认并按给定的值抓取。
正视：User-agent必须呈此刻第一行（故意义的行，注释除外），首先声明用户代办代理。
noindex,follow：防止抓取本页，但答应跟踪链接。如：
User-agent: Googlebot
只答应Google的蜘蛛抓取；
User-agent: *
答应所有蜘蛛抓取。那么我们就需要操作到一种常见的编制：樊篱百度谷歌等搜索引擎蜘蛛。
文件应当同时包含2个域，“User-agent:”和“Disallow:”，每条指令自力一行。
Disallow: /
防止了蜘蛛抓取根目录下的所有内容。
编制1、建树robots.txt文本
对于robots.txt文本的相干概念或者是和谈我就不提了，主若是直接告诉大师这个文件的写法。或者是，由于我们网站的文章权威性，为了保障我们的原创和权威性，不轻易被搜索引擎检索。所以，尽可能的操作robots.txt文件来限制抓取。
noindex,nofllow：防止抓取本页，同时防止跟踪本页中的链接。
做SEO我们常常碰着这样的问题问题，很多客户在做好排名往后或者供给好精良处事往后，他们并没有想象中的那种电话量不竭的下场，因而就碰着拒绝付款的客户。二者的功效是一样的。
若是需要指定多个目录或文件，可以用多个“Disallow: 文件或目录名”来指定，但必须每一项孤立一行。
(1)User-agent:
指定答应哪些蜘蛛抓取，若是给出参数，则只有指定的蜘蛛能够抓取；如值为通配符“*”号，代表答应所有蜘蛛抓取。
(2)Disallow:
指定防止蜘蛛抓取的目录或文件，如：
Disallow: /help.php
防止抓取根目录下help.php文件；
Disallow: /admin/
防止抓取根目录下的admin子目录中任何内容；
Disallow:
值为空时，暗示不限制，蜘蛛可以抓取站内任何内容。共有4个参数可选，组成4个组合：
index,follow：答应抓取本页，答应跟踪链接。
示例：
防止百度蜘蛛：
User-agent: 百度spider
Disallow: /
防止谷歌蜘蛛：
User-agent: Googlebot
Disallow: /
防止所有蜘蛛：
User-agent: *
Disallow: /
编制2、robots Meta标签
robots.txt是放在网站中，文件级的汇集蜘蛛授权；而robots Meta标签是放在网页中，个别用于部分网页需要孤立设置的景象下。
信息网址：http://www.khcha.com/ziyuan/view9436.htm