robots.txt怎么写(如何书写robots.txt)

大家好,今天小编来为大家解答以下的问题，关于robots.txt怎么写，如何书写robots.txt这个很多人还不知道，现在让我们一起来看看吧！

关于robots.txt怎么写

robots是站点与 spider沟通的重要渠道，站点通过 robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用 robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt文件。

robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以 CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：<field>:<optional space><value><optionalspace>

在该文件中可以使用#进行注解，具体使用方法和 UNIX中的惯例一样。该文件中的记录通常以一行或多行 User-agent开始，后面加上若干 Disallow和 Allow行,详细情况如下：

User-agent:该项的值用于描述搜索引擎 robot的名字。在"robots.txt"文件中，如果有多条- User-agent记录说明有多个 robot会受到"robots.txt"的限制，对该文件来说，至少要有一条 User-agent记录。如果该项的值设为，则对任何 robot均有效，在"robots.txt"文件中，"User-agent:"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干 Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和 Allow行的限制。

Disallow:该项的值用于描述不希望被访问的一组 URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以 Disallow项的值开头的 URL不会被 robot访问。例如"Disallow:/help"禁止 robot访问/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"则允许 robot访问/help.html、/helpabc.html，不能访问/help/index.html。"Disallow:"说明允许 robot访问该网站的所有 url，在"/robots.txt"文件中，至少要有一条 Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。

Allow:该项的值用于描述希望被访问的一组 URL，与 Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以 Allow项的值开头的 URL是允许 robot访问的。例如"Allow:/hibaidu"允许 robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有 URL默认是 Allow的，所以 Allow通常与 Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有 URL的功能。

使用"*"and"$"：Baiduspider支持使用通配符""和"$"来模糊匹配 url。""匹配 0或多个任意字符"$"匹配行结束符。

最后需要说明的是：百度会严格遵守 robots的相关协议，请注意区分您不想被抓取或收录的目录的大小写，百度会对 robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则 robots协议无法生效。

如何书写robots.txt

robots.txt写的。

百度是一台机器，它只知道数字、字母和汉字，而robots.txt是最重要的，也是最先与百度“对话”的内容。

当我们的网站没有建好的时候，我们不希望百度抓取我们的网站，也经常有人禁止百度抓取。但是这种做法很不好，会让百度蜘蛛很难再来你的网站。所以我们现在一定要成立一个本地网站，等一切都做好了再买域名，空。否则一个网站的反复修改会对你的网站产生一定的不良影响。

我们的网站最初被写成robots.txt如下:

用户代理:*

不允许:/wp-admin/

不允许:/wp-includes/

User-agent:*表示允许所有引擎爬网。

而Disallow:/wp-admin/和Disallow:/wp-includes/禁止百度抓取我们的隐私，包括用户密码、数据库等。这样的写法，既保护了我们的隐私，又最大化了百度蜘蛛的抓取。

如果想禁止百度蜘蛛抓取某个页面，比如123.html，只需添加一个代码“禁止:/123.html/”。

robots.txt写好之后，只需要上传到网站的根目录就可以了。

robot是什么文件夹？

robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robot是什么协议？

robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。

什么叫网站robots权限限制？

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，

也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问

一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会

按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站

上所有没有被口令保护的页面。

机器人开放协议是什么？

Robots协议也称为爬虫协议、爬虫规则、机器人协议，是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。

“规则”中将搜索引擎抓取网站内容的范围做了约定,包括网站是否希望被搜索引擎抓取,哪些内容不允许被抓取,而网络爬虫可以据此自动抓取或者不抓取该网页内容。如果将网站视为酒店里的一个房间,robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观,哪些不对搜索引擎开放。

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。

因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。

robots.txt文件要怎么写

大家先了解下robots.txt文件是什么，有什么作用。

搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”

蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。

Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。

举个例子：建立一个名为robots.txt的文本文件，然后输入

User-agent:*星号说明允许所有搜索引擎收录

Disallow: index.php?表示不允许收录以index.php?前缀的链接，比如index.php?=865

Disallow:/tmp/表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html

具体使用方法百度和谷歌都有解释，百度http://www.baidu.com/search/robots.html

Robots.txt文件可以帮助我们让搜索引擎删除已收录的页面，大概需要30-50天。

robots.txt怎么写和如何书写robots.txt的问题分享结束啦，以上的文章解决了您的问题吗？欢迎您下次再来哦！