Loading...
当前位置:首页 >> 建站资讯

网站地图 Robots 文件的问题?

时间:2021-10-04   访问量:1267

  我相信大家都知道robots文件是爬虫协议,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

  robots.txt是放在一个网站根目录之下的一个文件,robots文件并不是让用户看的,而是让搜索引擎看的。robots文件就是蜘蛛爬取网站时需要经历的第一道门,通过robots文件可以明确自己的访问权限。

  但是也有一部分人不清楚,自己站点robots每一行是什么意思,那么下面我来说一下,这里我就来举个例子吧。

  User-agent:*这里的*代表的所有的搜索引擎种类,*是一个通配符

  Disallow:的意思很简单,就是禁止抓取,那么如果你把写成Disallow:/的话,那么会出现很糟糕的事情,这个意思很简单,禁止收录所有文件。

  Sitemap:你的网址/sitemap.html

  Sitemap:你的网址/sitemap.xml