robots.txt文件用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容，搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为robots.txt的纯文本文件。如百度的robots.txt文件位于：
http://www.baidu.com/robots.txt
只有在需要禁止抓取某些内容时，写robots.txt才有意义。
用户名：
密 码：
记住我
.