您好!欢迎进入紫石头原创模板堂!
网站首页 | 购买流程 | 关于我们 |  联系方式 |  客服热线:0371-56789-390
当前位置:首页 >> 建站知识 >> 详情
扫二维码关注紫石头原创模板堂 4大优势
  • NO.1

    模板类网站比起独立设计的网站来讲价格低的多,因为很多东西是已经做成的,成本就低很多!

  • NO.2

    开源模板网站,任意修改使用!服务好到没话说!模板建站经常被贴上服务差的标签,而紫石头完全打破这样的格局!

  • NO.3

    模板网站也有正规军!我们做的模板网站有永易搜CMS终身使用授权,正版系统、无惧侵权!

  • NO.4

    建站速度快,购买后简单修改即可投入使用。设计型网站正常需要10~20个工作日,而模板站只需要几个小时!

建站咨询电话
0371-56789-390

3分钟带你快速了解robot文件
发表:紫石头原创模板堂    发表时间:2019-01-17 10:05:29    阅读:135
    何为Robots协议?
    Robots协议是国际互联网界通行的道德规范,基于以下原则建立:
    1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;
    2、网站有义务保护其使用者的个人信息和隐私不被侵犯。
    何为robot文件?
    robots.txt是限制搜索引擎spider(或称为蜘蛛)收录或爬取您网站内容的一种文件。搜索引擎蜘蛛在网站中第一个访问的文件就是robot文件,当然,也可以没有robot文件,不过spider会访问您的网站的所有页面。
    robot文件有何作用?
    屏蔽您网站的死链接,限制spider爬取您的网站内容,保护您网站的隐私内容。例如您的后台目录,或者存有您个人信息的页面或目录。
    如果您网站的重复页面或死链接过多,搜索引擎蜘蛛会认为您的网站不行,价值较低,就会降低您网站的权重,网站排名就会下降,如果创建了robot文件并写入了相应的规则,那么搜索引擎蜘蛛就不会爬取您限制的页面,您网站的权重与排名也就不会降低了。
    如何构建robot文件
    robot文件也没什么特殊的地方,就是一文本文件(txt)。新建一个文本文件,然后重命名为robots并在此文件中编写相应的规则,最后上传到网站跟目录就行了,注意一定要放置到跟目录且文件名一定要小写,不然就失效了。
    如何编写robot文件规则?
    或许您没有太多的时间来了解并学会robot文件规则,那么您可以生成robot文件规则,当然,您需要一定的英语基础,并了解特定的名词。假设您有时间来学习的话,就往下看下面的规则。
    现假设一个robot文件里面规则有:
    User-agent: *
    Disallow: /admin/
    Disallow: /user/
    规则解读为:所有的搜索引擎蜘蛛都不允许访问根目录的admin目录与user目录。
    现在你可能就明白了,user-agent:后面输入的是欲限制搜索引擎蜘蛛的名称,*为全部限制,baiduspider为限制百度搜索引擎蜘蛛不可以访问。
    disallow:后面追加的是欲限制蜘蛛访问的目录名称。
    注意,不管你有多少个disallow,只要有一个后面为空或者只有一个/符号的,就是所以目录都可以访问。符号一定是英文符号。
    robot文件只是一种规则,并不是强制约束搜索引擎蜘蛛,需要搜索引擎蜘蛛配合才有用,有些spider会不顾您的robot文件,擅自访问您的限制页面。不过,就目前而且,大部分spider是遵守的robots.txt规则的。

本文作者:紫石头原创模板堂

十六年网站建设相关经验
一站式为您提供网站相关服务

欢迎扫码咨询

模板推荐
  • 律师网站类模版
    律师网站类模版/原创、SEO细节调优、多业通用好模板
    简洁大方、利于SEO、多行通用
    ¥3200元
  • 搜易支付类网站模板
    搜易支付类网站模板/界面简洁、多行业通用、易于SEO
    专业设计、高端大气、适合多个行业
    ¥3200元
  • 商场小程序模版
    版式精美,源码原创,简单易用
    功能源码可修改,可定制功能
    ¥2600元
  • 黑色过审单页
    源码原创/易于SEO/适于多行业
    源码原创,适用于网站过审
    ¥1700元
  • 清新大气饮料模板
    源码原创/易于SEO/适于多行业
    清新饮料模板,源码原创,使用范围广
    ¥3200元
  • 证书查询系统模板
    源码原创/简单易用/适于多行业
    证书查询功能,简单易用,源码可修改
    ¥3200元
工作时间:周一至周五(08:30~18:00)
Copyright ©2003-2024 zishitou.com All Rights Reserved 永易搜旗下紫石头原创模板堂 版权所有 豫ICP备14011598号-7 营业执照