seo培训
关注微信公众号
随时掌握最新SEO技术

seo实战培训

报名咨询客服QQ:2287933288

网站优化咨询QQ:804079888

SEO禁止抓取与收录机制

ID:439

作者:seo培训  来源:未知  2020-03-18 09:48

  在我们优化网站中,有时候并不希望某些页面被收录,网站上不出现的链接,使用nofollow等方法都不能保证页面不一定被收录。
  抓取和收录是不同的两个过程。要确保页面不被抓取,需要使用robots文件。要确保页面不被收录,需要使用Noindexmetarobots标签。
 
  Robots文件
 
  只有在需要禁止抓取某些内容时,写robots.txt才有意义。Robots文件不存在或者是空文件都以为着允许搜索引擎抓取所有内容。有的服务器设置有问题,robots文件不存在时会返回200状态及一些错误的信息,而不是404代码,这有可能使搜索引擎错误解读robots文件信息,所以建议就算允许抓取所以内容,也要建立一个空的robots.txt文件,放在根目录下。
 
  最简单的robots文件
 
  User-agent:XXXXX
 
  Disallow:/
 
  这个robots文件禁止所有搜索引擎抓取任何内容。
 
  主流搜索引擎都遵守robots文件指令,robots.txt禁止抓取的文件搜索引擎将不访问,不抓取。但要注意的是,被robots文件禁止抓取的URL还是可能被索引并出现在搜索结果中。
 
  Noindexmetarobots标签
 
  Metarobots标签是也没head部分meta标签的一种,用于指令搜索引擎禁止索引本页内容,因而也就不会出现在所有结果中。
 
  最简单的metarobots标签格式:
 
  <metaname=”robots”content=”noindex,nofollow”>
 
  上面标签的意义是禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。
 
  Google、必应、雅虎都支持的metarobots标签如下。
 
  1、noindex:告诉蜘蛛不要索引本页面;
 
  2、Nofollow:告诉蜘蛛不要跟踪本页面上的链接;
 
  3、Nosnippet:告诉搜索引擎不要在搜索结果中显示摘要文字;
 
  4、Noarchive:告诉搜索引擎不要显示快照;
 
  5、Noodp:告诉搜索引擎不要使用开房目录中的标题。
 
  百度官方目前只支持nofollow和noarchive
 
  使用了noindexmetarobots标签的页面会被抓取,但不会被索引,页面URL不会出现在搜索引擎结果中,这一点月robots文件不同。
 
  网上很多资料说metanoindex的作用是禁止抓取,这是错误的,正相反,要让metarobots起作用,必须允许抓取,如果蜘蛛不抓取这个页面,根本看不到metanoindex标签。

<<SEO如何避免蜘蛛陷阱 seo文章的字数和SEO收录有什么关系?>>

天蛛网络专注 SEO培训 ,大量学员已受益。

从建站到seo优化,一站式培训,欢迎您来参加。报名QQ:2287933288。

  
seo实战培训