robotstxt 网站robots.txt文件中这些内容是什么意思
各位老铁们，大家好，今天由我来为大家分享robotstxt，以及网站robots.txt文件中这些内容是什么意思的相关问题知识，希望对大家有所帮助。如果可以帮助到大家，还望关注收藏下本站，您的支持是我们最大的动力，谢谢大家了哈，下面我们开始吧！
如何设置robot.txt让搜索引擎只收录主页而不收录其他页
一、什么是robots.txt文件
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
二、 robots.txt文件放在哪里
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。如：
http://www.w3.org/—— http://www.w3.org/robots.txt
http://www.w3.org:80/—— http://www.w3.org:80/robots.txt
http://www.w3.org:1234/—— http://www.w3.org:1234/robots.txt
http://w3.org/—— http://w3.org/robots.txt
三、 robots.txt文件的格式
“robots.txt”文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL,or NL作为结束符），每一条记录的格式如下所示：
“<field>:<optionalspace><value><optionalspace>”
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：
User-agent：
该项的值用于描述搜索引擎robot的名字，在“robots.txt”文件中，如果有多条 User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User- agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在“robots.txt”文件中，“User-agent：*”这样的记录只能有一条。
Disallow：
该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。例如：
“Disallow:/help”对/help.html和/help/index.html都不允许搜索引擎访问，而“Disallow:/help/”则允许robot访问/help.html，而不能访问/help/index.html。
任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在“/robots.txt”文件中，至少要有一条Disallow记录。如果“/robots.txt”是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。
四、 robots.txt文件用法举例
例1、禁止所有搜索引擎访问网站的任何部分
User-agent:*
Disallow:/
例2、允许所有的robot访问
User-agent:*
Disallow:
（或者也可以建一个空文件"/robots.txt" file）
例3、禁止某个搜索引擎的访问
User-agent: BadBot
Disallow:/
例4、允许某个搜索引擎的访问
User-agent: baiduspider
Disallow:
User-agent:*
Disallow:/
例5、一个简单例子
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/joe/
需要注意的是对每一个目录必须分开声明，而不要写成：“Disallow:/cgi-bin//tmp/”。
User-agent:后的*具有特殊的含义，代表“any robot”，所以在该文件中不能有“Disallow:/tmp/*” or“Disallow:*.gif”这样的记录出现。
五、robots.txt文件参考资料
robots.txt文件的更具体设置,请参看以下链接：
1、http://www.robotstxt.org/wc/faq.html
2、Web Server Administrator's Guide to the Robots Exclusion Protocol
3、HTML Author's Guide to the Robots Exclusion Protocol
4、The original 1994 protocol description, as currently deployed
5、The revised Internet-Draft specification, which is not yet pleted or implemented
Trackback: http://bbs.5ixb.com/read-htm-tid-4131.html
robots.txt的写法
robots.txt的写法是做seo的人员必须知道的（什么是robots.txt），但该如何写，禁止哪些、允许哪些，这就要我们自己设定了。
百度蜘蛛是一机器，它只认识数字、字母和汉字，而其中robots.txt就是最重要也是最开始和百度“对话”的内容。
当我们的网站在没有建好的时候，我们不希望百度来抓取我们的网站，往往有人会禁止百度来抓取。但是，这种做法是非常不好的，这样会让百度蜘蛛很难再来到你的网站了。所以，我们必须现在本地搭建网站，等一切都搞好以后，再去买域名、空间，要不，一个网站的反复修改，会对你的网站有一定的不利影响。
我们的网站起初的robots.txt写法如下：
User-agent:*
Disallow:/wp-admin/
Disallow:/wp-includes/
User-agent:*的意思是，允许所以引擎抓取。
而Disallow:/wp-admin/和Disallow:/wp-includes/，则是禁止百度抓取我们的隐私，包括用户密码、数据库等。这样的写法既保护了我们的隐私，也让百度蜘蛛的抓取最大化。
如果，你想禁止百度蜘蛛抓取某一个页面，比如123.html，那就加一句代码“Disallow:/123.html/”即可。
robots.txt写好后，只需要上传到网站的根目录下即可。
网站robots.txt文件中这些内容是什么意思
robots是站点与 spider沟通的重要渠道，站点通过 robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用 robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt文件。
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以 CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：<field>:<optional space><value><optionalspace>
在该文件中可以使用#进行注解，具体使用方法和 UNIX中的惯例一样。该文件中的记录通常以一行或多行 User-agent开始，后面加上若干 Disallow和 Allow行,详细情况如下：
User-agent:该项的值用于描述搜索引擎 robot的名字。在"robots.txt"文件中，如果有多条- User-agent记录说明有多个 robot会受到"robots.txt"的限制，对该文件来说，至少要有一条 User-agent记录。如果该项的值设为，则对任何 robot均有效，在"robots.txt"文件中，"User-agent:"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干 Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和 Allow行的限制。
Disallow:该项的值用于描述不希望被访问的一组 URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以 Disallow项的值开头的 URL不会被 robot访问。例如"Disallow:/help"禁止 robot访问/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"则允许 robot访问/help.html、/helpabc.html，不能访问/help/index.html。"Disallow:"说明允许 robot访问该网站的所有 url，在"/robots.txt"文件中，至少要有一条 Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。
Allow:该项的值用于描述希望被访问的一组 URL，与 Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以 Allow项的值开头的 URL是允许 robot访问的。例如"Allow:/hibaidu"允许 robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有 URL默认是 Allow的，所以 Allow通常与 Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有 URL的功能。
使用"*"and"$"：Baiduspider支持使用通配符""和"$"来模糊匹配 url。""匹配 0或多个任意字符"$"匹配行结束符。
最后需要说明的是：百度会严格遵守 robots的相关协议，请注意区分您不想被抓取或收录的目录的大小写，百度会对 robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则 robots协议无法生效。
关于robotstxt和网站robots.txt文件中这些内容是什么意思的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。