2020年04月05日
2010年11月11日
首先我们先来看一下蜘蛛是怎么爬去我们的网站的。一般蜘蛛到我们的网站后,它会先看有没有sitmap.xml这个文件,然后再看有没有robots.txt这个文件。如果有sitemap.xml,则再看robots.txt这个文件给了那些爬去权限,接着就沿着地图的路线去爬行。如果这两个文都没有,那蜘蛛就会漫无目的的乱打乱闯,可见这两个文件对于搜索引擎是多么重要。 那么网站地图是什么?有什么作用,
Powered By Z-BlogPHP 1.7.2
Copyright ©2007-2023 程志鹏@6A商学院 All Rights Reserved
冀ICP备10208152号-4 |