robots协议若何去写
日期:2020-11-24  发布人:mtxxx  浏览量:37641 下拉词怎么弄


robots协议若何去写?实则很简单,不过在学习若何写robots协议前,重庆SEO徐三将先为大家讲一下,robots协议的符号明白!这么能力管用的使用好robots协议!

robots协议若何去写

一、robots协议是啥子

robots协议就是指定搜引得擎蜘蛛依据所写的robots协议爬寻,而且关系到所写的命令去执行。

二、robots协议里的符号绍介与写法

1.User-agent: 给不一样的蜘蛛定义相应的规则

2.Disallow: 不必过访的某一条途径

3.Allow: 准许某一条途径抓取

举例申说;

User-agent: * ?(以下内容得用所有搜引得擎)

Disallow: / (禁阻搜引得擎抓取网站内任何内容)

Disallow: /*?* (禁阻搜引得擎抓取动态页)

Disallow: /admin/(禁阻搜引得擎抓取管理员的内容)

Allow: /page/ (准许搜引得擎抓取的某条连署)

Sitemap: (期望百度抓取的网站地图)

Sitemap: (期望谷歌抓取的网站地图)

链接:在网站中出现死链的时分,我们就可以用robots.txt来屏蔽一下,告知搜引得擎,这些链接不要被抓取。

地图:期望搜引得擎抓取网站地图时,我们就可以把网站地图放到robots.txt文件内。

总结:robots协议写法有众多,假如不是很懂千万不要去整,不然你的网站会有不同样的效果出现的(哈哈),写的时分也要注意一定认真看明白,不然被屏蔽了也找不到何故!所以在此提醒大家写robots协议必须要注意!