robots网站地图的简单介绍

robotstxt是写给搜索引擎看的，搜索引擎抓取网站的时候先爬行robotstxt文档，看哪些文件是禁止抓取的里面也可以禁止某一个或一些搜索引擎抓取你的网站，例如淘宝禁止百度抓取它的网站内容。

再你网站后台 点击生成更新网站地图普通地图点击开始更新就可以了，选择下面的链接放到你网站的robots里面就可以了，一般情况下网站的robots都放在默认的robots最前面例如sitemap。

网上有很多sitemap地图生成的方法，比如在线生成软件生成等，sitemap地图可以提交给各大搜索引擎，从而使搜索引擎更好的对网站页面进行收录，我们也可以通过robotstxt来告诉搜索引擎地图的位置将制作好的网站地图上传至网站根。

4在robots设置中，查看是否上传robotstxt文件，正常是不要上传的，但是你可以添加内容进网站的robots，这样原来的才不会被覆盖，点击下一步进入FTP设置5输入ftp地址账号和密码等信息，点击抓爬，即可自动生成网站地图。

生成一个sitemapxml文件之后，利用ftp上传至网站的根目录再将该网站地图的链接添加到网站某处，比如说放在robotstxt文件中sitemapsitemapxml 如果懂前端的话，可以在网站的右上角增加一个网站地图的入口，将链接a写成。