robots文件 网站里的“robots”文件是什么意思
朋友们，robots文件和网站里的“robots”文件是什么意思是当今热门话题，但是它们的内涵和影响力可能会让人感到困惑。在本篇文章中，我将为你们揭示它们的本质和重要性，希望能够为你们带来新的认识。
网站里的“robots”文件是什么意思
搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”
蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。
Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。
举个例子：建立一个名为robots.txt的文本文件，然后输入
User-agent:*星号说明允许所有搜索引擎收录
Disallow: index.php?表示不允许收录以index.php?前缀的链接，比如index.php?=865
Disallow:/tmp/表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html
怎样找到robots.txt这个文件夹,修改它
楼主您好：
robots.txt它就像记事本一样的一个文件
在网站的根目录下
可以用ftp查看和修改步骤为点击虚拟空间或者服务器下的根目录点击www或者web文件夹找到robots就可以进行修改了
在网站后台的话若是dedecms的可以再文件管理器里面找到直接进行修改
希望对您有所帮助。
robots文件是什么意思他对网站的优化能起到什么作用
Rbots.txt是什么：
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
语法：最简单的 robots.txt文件使用两条规则：
User-Agent:适用下列规则的漫游器
Disallow:要拦截的网页
下载该robots.txt文件
robots.txt有几个常用的写法；
全部开放或全部禁止
{
User-agent:*//表示站内针地所有搜索引擎开放；
Allow:///允许索引所有的目录；
User-agent:*//表示站内针地所有搜索引擎开放；
Disallow:///禁止索引所有的目录；
User-agent:*//表示站内针地所有搜索引擎开放；
Disallow://允许索引所有的目录；
}
这里呢，可以把[网站地图（Sitemap）]也加进来，引导搜索引擎抓取网站地图里的内容。
Sitemap:
Robots.txt使用方法：
例1.禁止所有搜索引擎访问网站的任何部分
Disallow:/
例2.允许所有的robot访问
(或者也可以建一个空文件"/robots.txt")
User-agent:*
Disallow:
或者
User-agent:*
Allow:/
例3.仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:/
例4.仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
User-agent:*
Disallow:/
例5.禁止spider访问特定目录
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成"Disallow:/cgi-bin//tmp/"。
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/~joe/
例6.要阻止 Googlebot抓取特定文件类型（例如，.gif）的所有文件
User-agent: Googlebo
tDisallow:/*.gif$
例7.要阻止 Googlebot抓取所有包含?的网址（具体地说，这种网址以您的域名开头，后接任意字符串，然后是问号，而后又是任意字符串）
User-agent: Googlebot
Disallow:/*?更多有才资料： http://www.seorv.com
什么是robots.txt文件
应该是robots.txt文件吧,
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人robots（有的叫搜索蜘蛛或者爬虫）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索引擎爬虫就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索引擎爬虫就沿着链接抓取。
robots.txt文件限制抓取网络的搜索引擎爬虫对您的网站的访问。这些搜索引擎爬虫是自动的，它们在访问任意网站的网页之前，都会查看是否存在阻止它们访问特定网页的 robots.txt文件。（虽然某些搜索引擎爬虫可能会以不同的方式解释 robots.txt文件中的指令，但所有正规的搜索引擎爬虫都会遵循这些指令。然而，robots.txt不是强制执行的，一些垃圾信息发送者和其他麻烦制造者可能会忽略它。因此，我们建议对机密信息采用密码保护。）
只有当您的网站中包含您不想让搜索引擎编入索引的内容时，才需要使用 robots.txt文件。如果您希望搜索引擎将网站上的所有内容编入索引，则不需要 robots.txt文件（甚至连空的 robots.txt文件也不需要）。
为了能使用 robots.txt文件，您必须要有对您网站的根目录的访问权限（如果您不能确定是否有该权限，请与您的网络托管商核实）。如果您没有对网站的根目录的访问权限，可以使用robots元标记来限制访问。
非常感谢您的阅读！我们希望本文对于解决您关于robots文件和网站里的“robots”文件是什么意思的问题提供了一些有价值的信息。如果您还有其他疑问，我们将很乐意为您提供进一步的帮助。