移动互联网+与新技术研究汇总

　　首先我们先来看一下蜘蛛是怎么爬去我们的网站的。一般蜘蛛到我们的网站后，它会先看有没有sitmap.xml这个文件，然后再看有没有robots.txt这个文件。如果有sitemap.xml，则再看robots.txt这个文件给了那些爬去权限，接着就沿着地图的路线去爬行。如果这两个文都没有，那蜘蛛就会漫无目的的乱打乱闯，可见这两个文件对于搜索引擎是多么重要。
　　
　　那么网站地图是什么?有什么作用，为什么要做网站地图?怎么做网站地图?这可能是困扰刚刚进入seo行业的seoer最大的问题。首先我们来看网站地图，网站地图顾名思义就是一个地图，其作用和我们平时的地图是一样的，但是这个地图是给搜索引擎看的，有了网站地图搜索引擎蜘蛛就不会在你的网站上漫无边际的爬了，有利于搜索引擎的收录。
　　
　　关于网站地图的制作其实很简单，这里有一个在线生成的网址http://www.xml-sitemaps.com 可以免费生成500个url，如果要生成完全的,需要付费,对于一个小站来说,先收录5百页也是不错的主意,生成速度有点慢,你可要耐心等待一下。也可以用来在线生成yahoo的urllist.txt，但是yahoo也是sitemap成员，所以个人觉得有个sitemap.xml文件已经够用了。当然还有其他的在线生成工具，和离线生成工具，可以在网上搜一下。
　　
　　当.xml文件在线生成后，再下载下来在google sitemap网站提交网址为：https://www.google.com/webmasters/sitemaps/。但是需要你有google帐号才可以,注册一个就可以了，你也可以提交后过一段时间检查一下是否有错误。
　　
　　下载在线生成后的urllist.txt文件提交到yahoo,网址为：http://submit.search.yahoo.com/free/request方便雅虎收录你的网站，当然也需要你有雅虎的帐号。
　　
　　另外有了sitemap，还需要有一个robots.txt来把门。那么robots.txt又是什么呢?这是一个给蜘蛛沿sitemap爬行网站分配权限文件。告诉蜘蛛那些可以爬行，那些不可以爬行的。另外百度不能直接支持sitemap怎么办?那么我们就要在robots.txt中告诉百度蜘蛛，你的sitemap在哪里。在robots.txt中加入这样一句代码就可以了。Sitemap：http://www.xxxxxx.com/根目录/sitemap.xml。这一句等于是告诉百度蜘蛛我的sitemap文件在网站的根目录下。
　　
　　另外还有一点就是，sitemap.xml和robots.txt这两个文件要放在根目录下，而且robots这个文件只能是纯文本文件即后缀是.txt。