大家在查看网站源代码的时候一定看到过类似如下的meta标签:
<meta name="robots" value="index, follow">
meta标签慢慢被越来越多的搜索引擎所应用,了解meta标签,大家可以对自己的博客或网站可以进行简单的SEO配置。
index
告诉搜索引擎索引本页面,这是默认属性,如果不设置meta标签,搜索引擎默认会索引本页面。
noindex
告诉搜索引擎不要把本页展示在他们的搜索结果中。
noimageindex
禁止搜索引擎索引本页面上的图片,本页面上的图片不会显示在搜索结果中。
none
none是noindex,nofollow的缩写,告诉搜索引擎不要索引本页面,告诉爬虫不要索引本页面上的链接页面。
follow
告诉搜索引擎爬虫可以爬行本页面上的链接,不管该页面是不是允许索引。
nofollow
告诉搜索引擎不要爬行本页面上的链接。
noarchive
阻止搜索引擎在搜索结果中显示该页面的缓存版本,就是快照。
nocache
功能和noarchive一样,但是适用于MSN/Live搜索引擎。
nosnippet
搜索引擎的搜索结果中会显示一部分搜索文字上下文的内容,nosnippet属性就是拒绝搜索引擎显示这部分内容,另外,所说引擎也不会保存该页面的快照。
noodp
搜索引擎的搜索结果中会显示一部分搜索文字上下文的内容,noodp属性用来阻止使用DMOZ信息做为这部分的文字使用。
noydir
搜索引擎的搜索结果中会显示一部分搜索文字上下文的内容,noydir阻止雅虎使用Yahoo! directory信息作为这部分的文字使用。