seo技术中robots.txt协议是什么?它的正确写法是怎样的?

seo技术中的关于robots.txt爬虫协议的正确写法问题,在百度算法中的工作原理有一个去重原理,意思是百度蜘蛛来到你的网站进行爬取内容的时候,它会放进索引库去进行筛选的,比如:一些重复的内容、一些没有意义的内容,像qq、留言、注册信息等等,然后才会去给您的内容去进行建库,所以robots.txt协议的重要性就非常重要了,可以通过这个协议去限制一些不必要的东西,那么robots.txt协议究竟是什么呢?它的正确的写法又是怎样的呢?

seo技术中robots.txt协议是什么?它的正确写法是怎样的?
SEO优化

 

具体写法分为以下几种:

1、允许所有搜索引擎访问网站的所有部分robots.txt写法如下:User-agent:*Disallow:或者User-agent:*Allow:/

注意:第一个英文要大写,冒号是英文状态下,冒号后面有一个空格,这几点一定不能写错。

2、禁止所有搜索引擎访问网站的所有部分robots.txt写法如下:User-agent:*Disallow:/

3、只需要禁止蜘蛛访问某个目录,比如禁止admin、css、images等目录被索引 robots.txt写法如下: User-agent: * Disallow: /css/ Disallow: /admin/ Disallow: /images/

注意:路径后面有斜杠和没有斜杠的区别:比如Disallow: /images/ 有斜杠是禁止抓取images整个文件夹,Disallow: /images 没有斜杠意思是凡是路径里面有/images关键词的都会被屏蔽。

4、屏蔽一个文件夹/templets,但是又能抓取其中一个文件的写法:/templets/main robots.txt写法如下: User-agent: * Disallow: /templets Allow: /main

5、禁止访问html/目录下的所有以”.php”为后缀的URL(包含子目录) robots.txt写法如下: User-agent: * Disallow: html/*.php

6、 仅允许访问某目录下某个后缀的文件,则使用“$” robots.txt写法如下: User-agent: * Allow: .html$ Disallow: /

7、禁止索引网站中所有的动态页面 比如这里限制的是有“?”的域名,例如index.php?id=1 robots.txt写法如下: User-agent: * Disallow: /*?*

8、禁止搜索引擎抓取我们网站上的所有图片(如果你的网站使用其他后缀的图片名称,在这里也可以直接添加) 有些时候,为了节省服务器资源,需要禁止各类搜索引擎来索引网站上的图片,这里的办法除了使用“Disallow: /images/”直接屏蔽文件夹的方式之外,还可以采取直接屏蔽图片后缀名的方式。 robots.txt写法如下: User-agent: * Disallow: .jpg$ Disallow: .jpeg$ Disallow: .gif$ Disallow: .png$ Disallow: .bmp$

robots.txt要注意的地方:

1、第一个英文要大写,冒号是英文状态下,冒号后面有一个空格,这几点一定不能写错。

2、斜杠:/代表整个网站

3、如果“/”后面多了一个空格,则屏蔽整个网站

4、不要禁止正常的内容

5、生效时间是几天到两个月

总结:对于robots.txt协议,是seo技术中比较关键的,没有写好,可能会导致网站的蜘蛛不收录。如果合理的应用,那么可以让网站达到权重的集中。

 

更多SEO优化推广资讯,请联系蓝畅客服

 

蓝畅在线客服       

 

关于我们:

Infocode蓝畅信息技术有限公司成功为多家世界财富500强企业以及其他著名品牌提供优质服务,是您靠谱的互联网开发供应商。

服务客户遍及北京、上海、杭州、深圳、广州、天津、青岛、南京、宁波、苏州、无锡、厦门、重庆、西安等大中型城市及地区    为您提供:H5开发,小程序开发,H5外包,微信开发,H5商城开发,小程序商城开发,网站开发外包,H5游戏开发,小程序开发外包,小程序设计、APP开发外包,UI设计,SEO优化,SEO外包,视频后期制作等优质服务

H5游戏开发和网页游戏开发有哪些不同?

本文来自投稿,不代表Infocode蓝畅营销立场,如若转载,请注明出处:https://www.seosetup.cn/1299.html

(0)
上一篇 2022年5月14日 下午11:54
下一篇 2022年5月15日 下午11:34

相关推荐

  • SEO优化公司:有哪些站内优化,如何提升网站权重

    网站优化主要分为站内和站外优化,所谓:“内容为王,外链为皇”足可以见其中的重要性,刚搭建好网站,这个时候需要的就是做网站的站内优化,那么站内优化有哪些呢?如何来提升网站的权重? 做…

    2022年5月9日
    650
  • 网站SEO作弊被搜索引擎处罚的特征是什么?

    网站一些关键词排名下降,流量下降,到底是因为被惩罚还是因为搜索引擎算法变动,或者是被竞争对手超越?如何才能知道网站是否被搜索引擎处罚? 这些情况确实很难准确区分,我们总结了几种方法…

    2020年8月24日
    980
  • SEO优化公司:怎么写好网站TKD专题页?

    网站专题页中的TKD优化,网站想要获得好的转化效果,就需要设置好专题页的优化。 专题页能让用户更加清楚知道自己想要的内容需求,展示的主要是页面的体验设计。seo优化的角度就需要写好…

    2022年5月2日
    420
  • 如何引导搜索引擎蜘蛛

    搜索引擎蜘蛛为什么需要靠引导,而不是佛系优化。 seo技术实质就是一种提升网站的不足方面,运用到各种操作,其中引蜘蛛也是比较核心的一种操作。网站想要获得关键词排名,首先是需要对于网…

    2022年4月26日
    1050
  • 高质量文章对于网站的作用有哪些?有哪些写作技巧?

    高质量的文章对于网站来说它的作用有哪些?高质量文章有哪些写作技巧呢? 高质量文章的作用: 提升关键词排名及网站权重 SEO优化公司的主要核心工作就是提升网站关键词的排名,优化站长每…

    2022年5月18日
    350
  • SEO优化中关键词选取、标题写法要求

    一个好的关键词在主页上需要的是流量稳定,其他关键词和长尾词驱动它的排名,这样它就不会下降,但时间长了也是会下降的。然后需要为你的网站铺平流量和点击,前提是网站的基本优化和网站设计,…

    2022年4月6日
    660
  • 企业网站seo优化推广有哪些好处?

    许多企业在把网站流量提升后,发现网站转化效果很差,十天半月才有一次转化,所以想知道如何提高网站的转化效果?转化后会有什么好处? 企业网站seo优化能够获得潜在的顾客 做好网站seo…

    2022年3月24日
    790
  • 网络服务器室内空间的分类和特点

    在企业网站建设的早期阶段,内容是申请域名、主机空间、选择合适的网站源代码等。 现在大多数朋友仍然会选择我国的主机空间,所以他们必须提交记录。网络服务器的室内空间更有利于提高关键词排…

    2022年4月16日
    530