您好!欢迎进入紫石头原创模板堂!
网站首页 | 购买流程 | 关于我们 |  联系方式 |  客服热线:0371-56789-390
当前位置:首页>>建站知识 >> 内容详情
扫二维码关注紫石头原创模板堂 4大优势,全网首家
  • NO.1

    模板类网站比起独立设计的网站来讲价格低的多,因为很多东西是已经做成的,成本就低很多!

  • NO.2

    开源模板网站,任意修改使用!服务好到没话说!模板建站经常被贴上服务差的标签,而紫石头完全打破这样的格局!

  • NO.3

    模板网站还享受设计型网站同等级售后服务,这不是做梦!紫石头原创模板站,让这一切变为可能!

  • NO.4

    建站速度快,购买后简单修改即可投入使用。设计型网站正常需要10~20个工作日,而模板站只需要几个小时!

免费咨询热线
0371-56789-390

带你详细了解网站中的Robots文件
发表:紫石头原创模板堂    发表时间:2019-09-11 11:50:01    阅读:
    网站建设中一般少不了一个名为robots.txt的纯文本文件。该文件用于指定搜索引擎蜘蛛在网站上的抓取范围。网站建设中Robots文件中的各个指令都是什么意思,这个文件又有什么作用呢?紫石头模板建站公司,一家专业制作利于seo的优秀网站模板的公司,带你详细了解robots.txt这个文件。
    一、Robot指令:
    1、User-agent: 该指令定义了此指令下面的内容对哪些蜘蛛有效。默认所有蜘蛛都允许抓取,如果此指令指定了特定的蜘蛛,那么此指令下跟的内容就对特定蜘蛛有效。
    2、Disallow: 该指令定义了禁止蜘蛛抓取哪些页面,有些人可能认为,做网站当然都希望被抓取了。但是如果是后台或是隐私文件,相信谁都不愿意被抓取的。
    3、Allow: 该指令定义了允许蜘蛛抓些哪些内容,如果是某些内容允许,其它全部拒绝,则可以用这个指令,大多数网站只用到禁止指令。
    4、Sitemap:就是我们常说的网站地图了,把站点地图放在Robots下面,可以方便蜘蛛直接在访问Robots时就访问到你的地图位置。
    二、robots的作用:
    1、屏蔽死链接。由于改版等原因,我们网站会产生死链接,那么这个时候我们就需要通过robots来屏蔽这些死链接。我们可以通过下载网站日志来查看我们的404页面,用txt打开网站日志,通过搜索“404”,如果你网站有404页面,并且被访问到了,那么这个时候就会被网站日志给记录。
    2、把没有价值的页面屏蔽掉。很多网站都有一些没有价值的页面,比如说SEO指导中心的用户个人中心页面,这个个人中心页面不会对网站产生价值,在百度上面的展现也不会给网站带来权重。因此我们需要利用robots来屏蔽这样的页面。又比如说:一个企业网站的联系我们页面,这种页面不会给网站带来权重,用户也不会去搜索“联系我们”来找他想要的产品。因此我们需要把这种页面同时屏蔽。
    3、把重复路径屏蔽掉。当你网站出现重复路径的时候,百度将会对我们的网站进行直接降分,比如说:一个网站做了伪静态,同时他的动态页面也可以访问,这个时候就会出现重复路径。因此我们需要通过robots屏蔽这些重复路径。
用户留言
访客头像访 客3.227***
最新评论

还没有人评论,快来抢个沙发!

工作时间:周一至周五(08:30~18:00)
Copyright © 2003 - 2016 永易搜科技 All Rights Reserved 豫ICP备14011598号-7