网站Robots.txt协议 你做对了吗

当前位置:网站首页 > 网站优化

这几天有位站长朋友问我robot.txt文件做过吗,怎么做?小编给他细说了一下Robots.txt文件的重要性,然后帮他完成了Robots.txt文件的书写。小编突然发现很多站长朋友不知道Robots.txt的作用与怎么做Robots.txt,今天小编给大家科普一下,这个对网站优化很重要的Robots.txt文件。


那么Robots.txt文件的书写应该注意什么呢?

一、是否应该开放全站

我们的站中可定会有系统文件、低质量的页面,用户完全可以通过站内链接查看这些内容,不用靠搜索引擎进入。我们可以屏蔽这些文件,让搜索引擎尽可能多关注我们高质量的页面。

二、什么样的页面不用被抓取

这一条我们应该从用户的角度出发,考虑那些页面是对用户没用,同时也不需要在搜索引擎中展示。比如:评论翻页多页面、做过伪静态的动态页面、会员登陆、注册、网站系统文件等等。这些页面光对用户没有价值,对搜索引擎来说也没有太多价值。

三、细节决定成败

1、屏蔽/a与/a/的区别,后面加不加斜杠就是一个范围的问题,后面不加/的意思屏蔽a开头的所有目录和页面,后面加/就是屏蔽当前目录下的页面和子目录。不注意这一点,会屏蔽掉许多我们需要的东西。

2、js、css需不需要屏蔽,有很多网站都屏蔽了这两项,但是谷歌站长工具明确指出利用Robots.txt屏蔽js、css可能会造成页面质量判断失败,影响排名。

3、删除后的文件屏蔽吗,站长们删除内容后,不应该屏蔽删除的内容,应去站长平台提交死链,因为删除的页面搜索引擎那里还有历史记录,用户还是随时可能进入。

网站优化是一个需要耐性的细活,我们一定要仔细考虑每一个细节,这样才能在互联网的浪潮中斩获头角。


发布时间:2015-09-02 16:29
转载请注明文章出自 优乐质