站内优化之sitemap文件和robot.txt文件讲解

作者: 丢丢 分类: 站内 发布时间: 2017-02-27 11:21

在做网站优化的时候,我们不仅要进行网站内容,外链,内链的优化,还需要从sitemap.xml和robots.txt这些细节之处着手。sitemap和robots.txt是一个网站针对搜索引擎设置的两个极其重要的文件。一般的站长都知道,建好网站后需要建立网站的sitemap.xml,还有特殊情况的话需要进行robots.txt文件的设置。下面说说Sitemap和Robots.txt SEO优化技巧。

网站robots.txt优化的技巧

对任何一个东西进行优化,首先要了解它是干什么用的。robots.txt文件是专门给你搜索引擎看的,告诉他这个网站那些地方你可以爬行,那些地方你不可以爬行。或者那些蜘蛛可以爬行,哪些蜘蛛不能爬行。比如:淘宝网的robots.txt中就声明了禁止百度的蜘蛛爬行。其实,说白了,robots.txt就是搜索引擎爬行网站的准许证,在拿到了准许证后,根据网站的目录(sitemap文件)来爬行你的网站。如果你的网站有特殊设置,可以利用robots.txt来设置。

把你网站的非实质内容页面及目录在robot.txt中设定。这里说的设定一般是指disallow这些没有实质内容的页面及目录。为什么这么做,原因在于搜索引擎在每个网站上停留及爬行的时间都有限。我们需要确保搜索引擎爬行及收录我们网站上最有价值的页面。通过这些有价值的内容页面给我们带来更多流量。如果有些目录和页面就算被搜索引擎爬行收录了也带不来流量,反而占用了搜索引擎搜索你其他有价值页面的机会,那就得不偿失。这些目录和页面常见的有:

a. 管理后台,被加密的目录(搜索引擎爬了对你没好处)。

b. 功能目录,无内容页面链接的目录;

c. 注册,注销,收藏,打印等链接(或使用rel=“nofollow”标记);

一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

具体的写法我就不说了,大家如果有兴趣可以自己百度了解一下,或者如果你们公司有技术员,他应该了解如何写,你只管告诉他你的要求即可。

网站sitemap

Sitemap是指引蜘蛛抓取的一个规则页面,一般首先会被抓取,当Spider群来到这个站点,首先会分析该站点的地图有没有更新,地图可以说是网站与蜘蛛之间的第一个通道,其制作的合理与否直接影响到整个站点内容页面的抓取。

对于SEO来说,目前网站地图主要分两类,html形式的地图和XML形式的地图。

简单来说,Sitemap的作用在于引导搜索引擎爬行网站中希望被收录的页面。根据我们的经验,Sitemap提交后一到两周,网站收录将显著增加。

具体来说,Sitemap在以下几种情况下,作用尤为明显。

网站为不利于Google和百度收录的动态页面或含有动态内容。
网页包含大量搜索引擎不易发现的Ajax或图片内容。
网站刚刚上线,缺乏外部链接。
网站包含大量内容,同时内链优化的又不是很好。
以上各种情况都会影响网站收录效果,因此利用网站地图的导航作用来缓解这种不利局面。

网站地图Sitemap:网站地图描述了一个网站的架构。 它可以使一个任意形式的文档,用作网页设计的设计工具,也可以是列出网站中所有页面的一个网页,通常采用分级形式。这有助于访问者以及搜索引擎的机器人找到网站中的页面。网站地图在文件形式上非正式的分为3种:xml 、txt 、html 

xml、txt形式的网站地图这是提交给搜索引擎的,让蜘蛛爬行和索引,有利于网站页面被收录,使网站页面信息保持最新。需要了解一下:Google要求 使用XML格式的网站地图,Yahoo要求使用TXT格式的网站地图。对于新站来说,网站地图提交完毕后,一般正常的话3天之内Google和yahoo 就可以收录。有时候收录速度甚至快到以分钟、小时计算。 提交网站地图是网站快速收录的一个捷径,另外一种让网站快速方法就是在搜索引擎更新频繁的网站做链接。

 网站地图的好处或作用

网站地图不仅有有利于搜索引擎收录和更新你的网站,为后期的SEO工作提供有力的帮助;而且方便访问者更加快速清晰的浏览你的网站,给用户更好的用户体验。  

还有一点,我看到网上有说到需要把sitemap文件在robot.txt里面声明,以利于搜索引擎索引,以丢丢多年的经验告诉大家,大可不必这么做!如果把sitemap写进robot.txt里面,很多时候google给你的提示是无法索引。因为robot.txt本来就是个禁止搜索引擎爬行内容的规则的,你干嘛要把sitemap放进去?瞎折腾!丢丢最后提醒!robot.txt只写你不想让google索引的文件和目录即可!

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

发表评论

电子邮件地址不会被公开。 必填项已用*标注