百度按天优化

南京SEO

优化热线:159-5107-6982

南京千金匣信息科技有限公司

E优宝首页 >> SEO优化操作 >>建站前的优化操作 >> 南京SEO教你 robots文件如何使用和书写规则
详细内容

南京SEO教你 robots文件如何使用和书写规则

时间:2018-01-10     作者:E优宝【原创】

robots文件如何使用和书写规则

 

什么是robots

Robots.txt协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

robots.txt文件(以下简称robots)是一个文本文件,使用任何一个常见的文本编辑器,比如Windows系统自带的文本文档,就可以创建和编辑它  robots是一个协议,而不是一个命令。robots是搜索引擎中访问网站的时候要查看的第一个文件。robots文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

Robots有什么用?为什么要创建robots

Robots的作用是就是告诉搜索引擎蜘蛛哪些页面能看,哪些页面不能看!设定或者屏蔽搜索引擎蜘蛛!

也许有的网友要问了,我们做优化的目的就是要让搜索引擎(以下文中都收百度代替)知道我们的网站,当然要抓取的越多越好,我们不应该把所有的网站页面都给百度蜘蛛让他们抓取吗?其实并非如此,有些页面是不被百度所识别的或者识别度不高,还有些是关乎我们网站安全的一些文件,一些低质量的页面!这些页面即使被抓取了,收录了,未必是是好事,因为识别度不好的、对百度蜘蛛不友好的页面以及低质量的页面,这些页面收录了也是我们网站的优化排名的扣费项,这时候robots的作用就起到“集权”作用了!

打个比方,我们想追求一个姑娘的时候,我们是希望把我们身上所有的优缺点都展示给这个姑娘看呢,还是把我们身上的优点给她看,缺点先不暴露呢!所以说“献丑不如藏拙”,这就是robots的作用之一!当然,这并非作弊,而是一种优化策略,时机成熟再将其他页面从robots释放出来也是可以操作的!

Robots另一个比较容易忽视的作用,是百度蜘蛛访问网站的时候要查看的第一个文件。什么意思呢,就是百度蜘蛛在接触网站的时候第一看得页面就是这个文件!那这个作用能给我们SEO工作带来什么帮助?我们该如何利用这一特点呢?答案就是网站地图,可以将网站上面的所有链接提供给百度蜘蛛,让蜘蛛去抓取,去看!

网站地图分为两种:sitemap.html和sitemap.xml!前一种是引导用户去浏览网站的,后一种是指引百度蜘蛛的!就是上面提到的:网站地图可以将网站上面的所有链接提供给百度蜘蛛蜘蛛,让蜘蛛去抓取,去看!因此网站地图放在robots文件夹里,百度蜘蛛第一时间知道有这些页面的链接,不就做到快速被百度收录了么!

我们应该屏蔽我们那些页面不让蜘蛛抓取呢?

1、URL链接中有中文的链接

 链接中有中文的,在页面上显示出来就会是一长串数字 、百分号什么的,对各个搜索引擎都不友好!

2、动态链接(存在变量,前台显示出来的url是变化的,往往动态链接中会有“?”)

百度蜘蛛对于动态链接识别度不是那么高!

3、Js文件(.js

百度蜘蛛对于js文件识别度不是那么高!

4、模板文件 (/templet/)

模板文件是网站的某一页面的或者整个网站的样式,为了安全,最好不让蜘蛛抓取!

5、后台文件(/admin/)

后台文件关乎网站的整体内容,为了安全需要屏蔽

6、需要登录的页面

需要用户登录账号密码的页面最好屏蔽,为了客户的隐私!

 

Robots常用语法和书写规则

User-agent 适用对象

如:User-agent:  Baiduspider  百度蜘蛛按照此协议抓取

Disallow:  / 屏蔽抓取的页面

如:Disallow:  /admin/   网站后台文件不要抓取

ALLOW:  / 允许抓取的页面

如:Allow:  /article      可以抓取文章  

*          通配符,指所有

如: User-Agent:  *       所有的搜索引擎都执行此协议

   Disallow:  /image/*    屏蔽网站中所有图片

   Disallow:  /*?*        屏蔽网站中所有含有?的链接,也就是动态链接

$          终止符,可以用来屏蔽某一后缀拓展名的文件

如:Disallow:  /*.js$     屏蔽所有js文件

Baiduspider      百度蜘蛛

Googlebot       谷歌机器人

Bingbot         必应机器人

360Spider       360蜘蛛

Sogouspider     搜狗蜘蛛

 

Sitemap网站地图在robots的书写

Sitemap:  http://www.yiubao.com/sitemap.xml

Sitemap:  http://www.yiubao.com/sitemap.html

 

Ps: robots的书写中有很多细节需要注意,书写不好容易,屏蔽不该屏蔽的内容,做好找专业的SEO从业者来说些,有需要可以联系我们!


公司地址
南京市秦淮区石杨路101号
邮箱
657873527@qq.com
客服热线
86-159-5107-6982
微信号
159-5107-6982
技术支持: 南京SEO优化 | 管理登录