关于robots.txt子域名的信息

这个搜索引擎都分辨的出来，不要分开弄，robotstxt只放在域名的根目录下面，就是放在下面robotstxt其实就是一份协议，里面写了搜索引擎识别的语言，告诉他“我欢迎你来抓取”或者“滚远点，别到我这里来”。

robotstxt撰写方法1，允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为robotstxtUseragent*Disallow或者Useragent*Allow 2，禁止所有搜索引擎访问网站的所有部分Useragent*。

robots中，屏蔽二级域名的写法UserAgentDisallow robotstxt一般指robots协议，也称为爬虫协议机器人协议等的全称是“网络爬虫排除标准”Robots Exclusion Protocol，网站通过Robots协议告诉搜索引擎哪些页面可以。

robots文件一般放在网站根目录，所以想查看它很简单，只需要在你的网站URL后面输入robotstxt 以百度的robots为例txt 如果觉得有用记得点个赞。

Robots协议也称为爬虫协议机器人协议等的全称是“网络爬虫排除标准”Robots Exclusion Protocol，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取文件写法 Useragent * 这里的*代表的所有的搜索。

robotstxt文件必须驻留在域的根目录，并且必须命名为“robotstxt”位于子目录中的robotstxt文件无效，因为漫游器只在域的根目录这个文件例如，txt是有效位置但是。

把其中一个301到标准的，并且页面中利用canonical标签指明你需要的那个URL。

可以的，前提是子站点都是虚拟主机也就是子域名绑定子网站，如果只是子域名转发到子目录不可以的，因为一个主机只支持一个robots文件。

根目录下，有一个robottxt文件，disallow indexhtml，如果有其他页面可以继续加如disallow indxhtml *不让抓取根目录下的indexhtml页面 disallow nwes *不让抓取nwes文件夹里的东西 良好的关键词和描述会吸引。

4还有一种思路，那就用php或者其他语言做个程序，来判断是否是蜘蛛访问，如果是蜘蛛访问就做301404或者跳转都是可以的 5利用robotstxt，在这个里面写上那个网址Disallow 域名 这样就oK了。

因为有的程序做的网站是没有带robotstxt这个文档的，因此是看不到的。

如果是linux系统，是可以设置301重定向的，设置htaccess文件，然后加入301重定向代码就可以了。

分情况来看，如果二级域名有独的内容，可在二级域名网站中单独设置robots 如果二级域名和主域名的内容是一样的，则可301转向到主域名，这样主站权重集中，不分散，也有利于排名。

百度的网页收录机制，只和网页价值有关，与竞价排名等商业因素没有任何关联如何让我的网页不被百度收录百度严格遵循搜索引擎Robots协议详细内容，参见您可以写一个Robots文件以限制您的。

根据协议，网站管理员可以在网站域名的根目录下放一个robotstxt 文本文件，里面可以指定不同的网络爬虫能访问的页面和禁止访问的页面，指定的页面由 正则表达式 表示网络爬虫在采集这个网站之前，首先获取到这个文件，然后解析到其中的规则。

如何写robotstxt文件才能集中网站权重一什么是robots协议robots协议也称为爬虫协议爬虫规则机器人协议等也就是robotstxt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不希望被抓取#8226 Robots。