robots.txt在搜索引擎优化中的妙用

内容简介：这是一篇关于robots.txt,robots.txt不寫可以嗎？,robots.txt 有几个的文章。可能一般人的观点是robots.txt可写可不写，写错了还有麻烦，所以干脆不写。其实，在搜索引擎优化中，robots.txt有这么几个妙用。

可能一般人的观点是robots.txt可写可不写，写错了还有麻烦，所以干脆不写。其实，在搜索引擎优化中，robots.txt有这么几个妙用。

1、新站创建的时候引导蜘蛛抓取列表页。新站初建，在你的robots.txt写入网站的栏目地址以便抓取。示例如下

# http://www.001pp.com/ 网站优化的robots.txt
User-agent: *
Allow: /chengxuyouhua/
Allow: /wangzhananquan/
Allow: /sousuoyinqingyouhua/
Sitemap: /asp/rss.asp
 

2、屏蔽低质量的页面收录。例如，你的一个网页是动态的页面，content.asp，通过参数id来获得不同的内容，而假如你需要增加一个参数style,以便给不同的用户显示不同样式，但是内容相同的页面，那么，对于id为1的同一个内容的页面，可能会出现好几个连接

content.asp?id=1

content.asp?id=1&style=red

content.asp?id=1&style=green

 对于这些连接而言，内容相同，但是连接不同，就可能导致重复内容的出现，在此，你可以通过robots.txt屏蔽重复页面的收录，写法如下

User-agent: *
Disallow: content.asp?id=*&style=*

3、无须向各大搜索引擎提交sitemap直接标示sitemap 谷歌，微软以及雅虎均已经支持这一robots.txt的扩展写法，你可以无须向各大搜索引擎提交你的sitemap。示例同1.

至于robots.txt的具体写法，建议还是参照百度给出的指南，十分详细 http://www.baidu.com/search/robots.html