robots.txt 网站robots.txt文件中这些内容是什么意思
大家好,今天小编来为大家解答以下的问题，关于robots.txt，网站robots.txt文件中这些内容是什么意思这个很多人还不知道，现在让我们一起来看看吧！
网站robots.txt文件中这些内容是什么意思
robots是站点与 spider沟通的重要渠道，站点通过 robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用 robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt文件。
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以 CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：<field>:<optional space><value><optionalspace>
在该文件中可以使用#进行注解，具体使用方法和 UNIX中的惯例一样。该文件中的记录通常以一行或多行 User-agent开始，后面加上若干 Disallow和 Allow行,详细情况如下：
User-agent:该项的值用于描述搜索引擎 robot的名字。在"robots.txt"文件中，如果有多条- User-agent记录说明有多个 robot会受到"robots.txt"的限制，对该文件来说，至少要有一条 User-agent记录。如果该项的值设为，则对任何 robot均有效，在"robots.txt"文件中，"User-agent:"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干 Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和 Allow行的限制。
Disallow:该项的值用于描述不希望被访问的一组 URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以 Disallow项的值开头的 URL不会被 robot访问。例如"Disallow:/help"禁止 robot访问/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"则允许 robot访问/help.html、/helpabc.html，不能访问/help/index.html。"Disallow:"说明允许 robot访问该网站的所有 url，在"/robots.txt"文件中，至少要有一条 Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。
Allow:该项的值用于描述希望被访问的一组 URL，与 Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以 Allow项的值开头的 URL是允许 robot访问的。例如"Allow:/hibaidu"允许 robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有 URL默认是 Allow的，所以 Allow通常与 Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有 URL的功能。
使用"*"and"$"：Baiduspider支持使用通配符""和"$"来模糊匹配 url。""匹配 0或多个任意字符"$"匹配行结束符。
最后需要说明的是：百度会严格遵守 robots的相关协议，请注意区分您不想被抓取或收录的目录的大小写，百度会对 robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则 robots协议无法生效。
什么是robots.txt文件
应该是robots.txt文件吧,
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人robots（有的叫搜索蜘蛛或者爬虫）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索引擎爬虫就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索引擎爬虫就沿着链接抓取。
robots.txt文件限制抓取网络的搜索引擎爬虫对您的网站的访问。这些搜索引擎爬虫是自动的，它们在访问任意网站的网页之前，都会查看是否存在阻止它们访问特定网页的 robots.txt文件。（虽然某些搜索引擎爬虫可能会以不同的方式解释 robots.txt文件中的指令，但所有正规的搜索引擎爬虫都会遵循这些指令。然而，robots.txt不是强制执行的，一些垃圾信息发送者和其他麻烦制造者可能会忽略它。因此，我们建议对机密信息采用密码保护。）
只有当您的网站中包含您不想让搜索引擎编入索引的内容时，才需要使用 robots.txt文件。如果您希望搜索引擎将网站上的所有内容编入索引，则不需要 robots.txt文件（甚至连空的 robots.txt文件也不需要）。
为了能使用 robots.txt文件，您必须要有对您网站的根目录的访问权限（如果您不能确定是否有该权限，请与您的网络托管商核实）。如果您没有对网站的根目录的访问权限，可以使用robots元标记来限制访问。
怎样找到robots.txt这个文件夹,修改它
楼主您好：
robots.txt它就像记事本一样的一个文件
在网站的根目录下
可以用ftp查看和修改步骤为点击虚拟空间或者服务器下的根目录点击www或者web文件夹找到robots就可以进行修改了
在网站后台的话若是dedecms的可以再文件管理器里面找到直接进行修改
希望对您有所帮助。
网站根目录放robots.txt文件是什么意思
通过给网站设置适当的robots.txt对Google和百度seo优化的作用是很明显的。WordPress博客网站也一样。我们先看看robots.txt是什么，有什么作用？ robots.txt是什么？我们都知道txt后缀的文件是纯文本文档，robots是机器人的意思，所以顾名思义，robots.txt文件也就是给搜索引擎蜘蛛这个机器人看的纯文本文件。robots.txt是搜索引擎公认遵循的一个规范文档，它告诉Google、百度等搜索引擎哪些网页允许抓取、索引并在搜索结果中显示，哪些网页是被禁止收录的。搜索引擎蜘蛛 spider（Googlebot/Baiduspider）来访问你的网站页面的时候，首先会查看你的网站根目录下是否有robots.txt文件，如果有则按照里面设置的规则权限对你网站页面进行抓取和索引。如淘宝网就通过设置robots.txt屏蔽百度搜索引擎： User-agent: Baiduspider Disallow:/ User-agent: baiduspider Disallow:/ robots.txt的作用我们了解了什么是robots.txt，那它有什么作用，总体来说，robots.txt文件至少有下面两方面的作用： 1、通过设置屏蔽搜索引擎访问不必要被收录的网站页面，可以大大减少因spider抓取页面所占用的网站带宽，小网站不明显，大型网站就很明显了。 2、设置robots.txt可以指定google或百度不去索引哪些网址，比如我们通过url重写将动态网址静态化为永久固定链接之后，就可以通过robots.txt设置权限，阻止Google或百度等搜索引擎索引那些动态网址，从而大大减少了网站重复页面，对SEO优化起到了很明显的作用。 robots.txt的写法关于如何写robots.txt文件，在下面我们会以WordPress博客来作更具体举例说明。这里先提示几点robots.txt写法中应该注意的地方。如robots.txt文件里写入以下代码： User-agent:* Disallow: Allow:/ robots.txt必须上传到你的网站根名录下，在子目录下无效； robots.txt，Disallow等必须注意大小写，不能变化； User-agent，Disallow等后面的冒号必须是英文状态下的，冒号后面可以空一格，也可以不空格。网上有人说冒号后面必须有空格，其实没有也是可以的，请看谷歌中文网站管理员博客的设置就是这样： http://www.googlechinawebmaster.com/robots.txt； User-agent表示搜索引擎spider：星号“*”代表所有spider，Google的spider是“Googlebot”，百度是“Baiduspider”； Disallow:表示不允许搜索引擎访问和索引的目录； Allow:指明允许spider访问和索引的目录，Allow:/表示允许所有，和Disallow:等效。 robots.txt文件写法举例说明禁止Google/百度等所有搜索引擎访问整个网站 User-agent:* Disallow:/允许所有的搜索引擎spider访问整个网站(Disallow:可以用Allow:/替代) User-agent:* Disallow:禁止Baiduspider访问您的网站，Google等其他搜索引擎不阻止 User-agent: Baiduspider Disallow:/只允许Google spider： Googlebot访问您的网站，禁止百度等其他搜索引擎 User-agent: Googlebot Disallow: User-agent:* Disallow:/禁止搜索引擎蜘蛛spider访问指定目录(spider不访问这几个目录。每个目录要分开声明，不能合在一起) User-agent:* Disallow:/cgi-bin/ Disallow:/admin/ Disallow:/~jjjj/禁止搜索引擎spider访问指定目录，但允许访问该指定目录的某个子目录 User-agent:* Allow:/admin/far Disallow:/admin/使用通配符星号"*"设置禁止访问的url(禁止所有搜索引擎抓取/cgi-bin/目录下的所有以".html"格式的网页(包含子目录)) User-agent:* Disallow:/cgi-bin/*.html使用美元符号"$"设置禁止访问某一后缀的文件(只允许访问以".html"格式的网页文件。) User-agent:* Allow:.html$ Disallow:/阻止google、百度等所有搜索引擎访问网站中所有带有?的动态网址页面 User-agent:* Disallow:/*?*阻止Google spider：Googlebot访问网站上某种格式的图片(禁止访问.jpg格式的图片) User-agent: Googlebot Disallow:.jpg$只允许Google spider：Googlebot抓取网页和.gif格式图片(Googlebot只能抓取gif格式的图片和网页，其他格式的图片被禁止；其他搜索引擎未设置) User-agent: Googlebot Allow:.gif$ Disallow:.jpg$.......只禁止Google spider：Googlebot抓取.jpg格式图片(其他搜索引擎和其他格式图片没有禁止) User-agent: Googlebot Disallow:.jpg$
感谢您花时间阅读本文！我们希望通过对robots.txt和网站robots.txt文件中这些内容是什么意思的问题进行探讨，为您提供了一些有用的见解和解决方案。如果您需要更多帮助或者有其他疑问，请不要犹豫与我们联系。