robots文件怎么屏蔽蜘蛛抓取页面?

  有的时候,青岛SEO站长并不希望某些页面被抓取和收录,如:付费内容、还在测试阶段的页面、复制内容页面等。网站上不出现链接,或者使用JavaScript,Flash链接,使用nofollow等方法都不能保证页面一定不被收录。青岛SEO站长自己虽然没有链接到不想被收录的页面,其他网站可能由于某种原因出现导入链接,导致页面被收录。要确保页面不被收录,需要使用robots文件或Meta Robots标签。

青岛seo

  1、robots文件

  搜索引擎蜘蛛访问网站时,会先查看网站根目录下有没有一个命名为robots.txt的纯文本文件,robots.txt用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容。青岛SEO雪无痕的robots文件位于: http://www.52qingdao.com/robots.txt

  只有在需要禁止抓取某些内容时,写robots.txt才有意义。robots文件不存在或者是空文件都意味着允许搜索引擎抓取所有内容。有的服务器设置有问题,robots文件不存在时会返回200状态码及一些错误信息,而不是404状态码,这有可能使搜索引擎错误解读robots文件信息,所以建议就算允许抓取所有内容,也要建一个空的robots.txt文件,放在根目录下。如

  要想使URL完全不出现在搜索结果中,需要使用页面上的meta robots标签。下一篇文章会给大家讲。

  作者: 青岛SEO雪无痕

相关文章

暂无相关推荐