编写Robots.txt文件的一些要求

首页> 缘震优势

缘震优势

最新动态缘震优势网建知识

2017-11-17 09:14:31

1.反斜杠的插入

　　还是以Disallow:/a/b.html为例，在编写该语句的时候，如果忘记加入了反斜杠，则是对全部内容进行开放，这与编写语句的想法相悖，因为反斜杠的意义是根目录。

　　2.空格的出现

　　空格的出现就很好理解了，因为搜索引擎对于这个特殊符号的出现并不识别，它的加入只会使语句失去应有的效用。

第二：编写的几个问题

　　1.Robots.txt编写的顺序问题

　　举个最简单的例子，如果你想让自己a文件中的b.html被抓取，那么你怎么编写呢?是Allow:/a/b.html Disallow:/a/ 还是Disallow:/a/ Allow:/a/b.html这样？

　　在Robots.txt编写规则中，它并不执行树状分析结构，换句话说编写时并不应该把母文件夹放在最前，而是遵循一种就近原则，如果我们把母文件夹放在前面，蜘蛛会认为这个途径被封闭了，不能访问，而我们最终的目的却是访问，这样一来，目标和实际就大相迳庭了。

　　2.Robots.txt编写的开放性问题

　　很多上海网站建设的站长，尤其是新手站长对于Robots.txt的理解过于片面，他们认为既然Robots.txt可以规定蜘蛛的访问途径，那我们何必不开放，把所有文件都设置成可访问，这样一来网站的收录量不久立即上升了，其实问题远远没有我们想象的简单，大家都知道网站中一些固定的文件是不必传送给搜索引擎访问的，如果我们把网站“全方位开放”，后果就是加大网站服务器负载，降低访问速度，减缓蜘蛛的爬行率，对于网站收录没有一点用处，所以对于固定不需要访问的文件，我们直接Disallow掉就可以了。

　　一般情况下，网站不需要访问的文件有后台管理文件、程序脚本、附件、数据库文件、等等。

　　3.Robots.txt编写的重复性问题

　　我们每天都在写着原创内容，然后更新到自己的网站中，大家想过没有我们这样做的目的是什么?当然是为了讨搜索引擎的好，大家都知道搜索引擎很看重原创内容，对于原创内容的收录很快，相反，如果你的网站中充斥着大量的复制内容，那么我只能遗憾的告诉你，网站的前途一片渺茫。不过这也从另一个方面告诉我们要积极的利用robots文件禁止重复页面的代码，降低页面的重复度，但是在编写robots文件时一定要记得

　　在User-agent后加入某个搜索引擎，例如User-agent:BaiduSpider Disallow:/，如果没有加入，编写成User-agent: * Disallow: /形式，则是对网站所有内容的“屏蔽”。

　　4.Robots.txt编写的meta问题

　　在 Robots.txt编写规则中，有一个取最强参数法则，而且如果网站以及页面标签上同时出现robots.txt文件和meta标签，那么搜索引擎就会服从两个规则中较为严格的一个，即禁止搜索引擎对于某个页面的索引，当然如果robots.txt文件和meta标签不是出现一个文件中，那么搜索引擎就会遵循就近原则，就会索引meta标签前的所有文件。

有利于网站优化的建站细节

一、符合用户需求的程序和内容

　　1、程序。在做网站之前要考察什么程序是符合这个网站的，比如建站，搜索建站出现在百度首页的是建站吧，那么说明搜索建站的用户有讨论需求，那么论坛类型更加适合上海网站建设。但是如果搜索婚纱摄影，出现在百度第一名的是百度图片，就说明图片类的dede程序更加适合这种类型的网站。而搜索小学作文这类的词语文章类站点更加适合。

　　2、内容。在设置网站的导航和首页布局前需要分析用户需求，分析的目的是知道用户对那些内容感兴趣以及重要程度。分析的方法是看百度的下拉框、相关搜索和搜索所得的隐形需求。比如搜索“网站建设”得到的是：网站建设公司、网站制作、建站技术等等这些关键词，说明用户对这些内容更加感兴趣，那么我们可以将这些关键词设置为网站的栏目名称。其次就是隐形需求，从搜索“网站建设”这个词的下拉框和排名在首页网站可以得出搜索这个词的用户具有讨论需求，那么我们可以做论坛或者设置一个讨论版块或者调用百度贴吧的数据作为网站的一部分。

　　二、便于优化的路径设置

　　1、路径的层级

　　一般的中小型站点路径册层级不超过三层，比如：域名/news/1771.html、域名/news/xx/1771.html前者是两层路径、后者是三层路径。网站的层级太深影响一部分内容的收录，但是文章的位置并不是取决于路径上的层级，而是看在网站的哪个具体位置。比如处于第三层的一篇文章，但是在首页有直接连接，那么这篇文章便处于第二层。

　　中小型网站层级大于四级以后，处于第四级层次的文章难以被搜索引擎收录。原因是搜索引擎认为中小型站点内容不多，三个层次足够了，而位于第四级上的文章搜索引擎会认为他们并不重要，所以不给于更多的关注。

　　2、路径名称设置

　　通常一般采用目录名称的全拼形式而且是1-2个词的全拼，如果是2个字以上的目录名称，采用目中的主要关键词。

　　(1)采用全拼有利于关键词的排名

　　(2)使用两个词的拼音便于用户记忆

　　(3)重叠的部分可以在域名中弥补。

　　三、符合优先级的布局

　　优先级也是我们常说的“F”型，从上到下、从左到右重要程度依次递减，按照优先级，最重要的内容放在左上角，最不重要的内容放在右下角。在导航里面最重要的栏目靠首页最近。

　　分析优先级的方法：

　　(1)通过百度指数，指数越高搜索量越大，重要程度越高

　　(2)百度相关搜索，在相关搜索里左上角的长尾词搜索越多，右下角的长尾词搜索最少。

　　四、附加价值的内容和内链布局