站内优化之sitemap文件和robot.txt文件讲解

在做网站优化的时候，我们不仅要进行网站内容，外链，内链的优化，还需要从sitemap.xml和robots.txt这些细节之处着手。sitemap和robots.txt是一个网站针对搜索引擎设置的两个极其重要的文件。一般的站长都知道，建好网站后需要建立网站的sitemap.xml，还有特殊情况的话需要进行robots.txt文件的设置。下面说说Sitemap和Robots.txt SEO优化技巧。

网站robots.txt优化的技巧

对任何一个东西进行优化，首先要了解它是干什么用的。robots.txt文件是专门给你搜索引擎看的，告诉他这个网站那些地方你可以爬行，那些地方你不可以爬行。或者那些蜘蛛可以爬行，哪些蜘蛛不能爬行。比如：淘宝网的robots.txt中就声明了禁止百度的蜘蛛爬行。其实，说白了，robots.txt就是搜索引擎爬行网站的准许证，在拿到了准许证后，根据网站的目录(sitemap文件)来爬行你的网站。如果你的网站有特殊设置，可以利用robots.txt来设置。

把你网站的非实质内容页面及目录在robot.txt中设定。这里说的设定一般是指disallow这些没有实质内容的页面及目录。为什么这么做，原因在于搜索引擎在每个网站上停留及爬行的时间都有限。我们需要确保搜索引擎爬行及收录我们网站上最有价值的页面。通过这些有价值的内容页面给我们带来更多流量。如果有些目录和页面就算被搜索引擎爬行收录了也带不来流量，反而占用了搜索引擎搜索你其他有价值页面的机会，那就得不偿失。这些目录和页面常见的有：

a. 管理后台，被加密的目录（搜索引擎爬了对你没好处）。

b. 功能目录，无内容页面链接的目录；

c. 注册，注销，收藏，打印等链接（或使用rel=“nofollow”标记）；

一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

具体的写法我就不说了，大家如果有兴趣可以自己百度了解一下，或者如果你们公司有技术员，他应该了解如何写，你只管告诉他你的要求即可。

网站sitemap

Sitemap是指引蜘蛛抓取的一个规则页面，一般首先会被抓取，当Spider群来到这个站点，首先会分析该站点的地图有没有更新，地图可以说是网站与蜘蛛之间的第一个通道，其制作的合理与否直接影响到整个站点内容页面的抓取。

对于SEO来说，目前网站地图主要分两类，html形式的地图和XML形式的地图。

简单来说，Sitemap的作用在于引导搜索引擎爬行网站中希望被收录的页面。根据我们的经验，Sitemap提交后一到两周，网站收录将显著增加。

具体来说，Sitemap在以下几种情况下，作用尤为明显。

网站为不利于Google和百度收录的动态页面或含有动态内容。
网页包含大量搜索引擎不易发现的Ajax或图片内容。
网站刚刚上线，缺乏外部链接。
网站包含大量内容，同时内链优化的又不是很好。
以上各种情况都会影响网站收录效果，因此利用网站地图的导航作用来缓解这种不利局面。

网站地图Sitemap：网站地图描述了一个网站的架构。 它可以使一个任意形式的文档，用作网页设计的设计工具，也可以是列出网站中所有页面的一个网页，通常采用分级形式。这有助于访问者以及搜索引擎的机器人找到网站中的页面。网站地图在文件形式上非正式的分为3种：xml 、txt 、html  。

xml、txt形式的网站地图这是提交给搜索引擎的，让蜘蛛爬行和索引，有利于网站页面被收录，使网站页面信息保持最新。需要了解一下：Google要求 使用XML格式的网站地图，Yahoo要求使用TXT格式的网站地图。对于新站来说，网站地图提交完毕后，一般正常的话3天之内Google和yahoo 就可以收录。有时候收录速度甚至快到以分钟、小时计算。 提交网站地图是网站快速收录的一个捷径，另外一种让网站快速方法就是在搜索引擎更新频繁的网站做链接。

 网站地图的好处或作用

网站地图不仅有有利于搜索引擎收录和更新你的网站，为后期的SEO工作提供有力的帮助；而且方便访问者更加快速清晰的浏览你的网站，给用户更好的用户体验。  

还有一点，我看到网上有说到需要把sitemap文件在robot.txt里面声明，以利于搜索引擎索引，以丢丢多年的经验告诉大家，大可不必这么做！如果把sitemap写进robot.txt里面，很多时候google给你的提示是无法索引。因为robot.txt本来就是个禁止搜索引擎爬行内容的规则的，你干嘛要把sitemap放进去？瞎折腾！丢丢最后提醒！robot.txt只写你不想让google索引的文件和目录即可！