蜘蛛何时来?百度蜘蛛行踪揭秘

很多开始学习SEO的朋友们对蜘蛛的行踪总是很迷惑,很多SEO大师们认为百度,google等蜘蛛都是晚上爬行于你的网站,然后找到他们喜欢的页面然后收纳.

今天我特意的对这个答案进行分析:

方法:分析WEB服务器的访问日志(如果不是独立服务器,一般虚拟空间也提供日志下载)

首先我下载网站的访问日志,下面带领朋友们寻找百度和google蜘蛛的踪迹!

1.登录FTP,一般存储日志的文件夹名称为:logfiles 这个名称根据服务器提供商不同而不同

2.日志一般都是按照日期来存储的

3.下载日志,使用记事本打开

4.按下CTRL+F,输入baidu

5.找到蜘蛛的踪迹了

2008-07-04 03:06:19 W3SVC868657 61.129.81.158 HEAD /pinglun.asp id=40 80 - 61.135.168.67 Baiduspider+

表示百度蜘蛛于2008-07-04 03:06:19访问了我的网站,这个时间蜘蛛的到来又可能决定你起床之后看的快照页面变化.

2008-07-04 08:31:04 W3SVC868657 61.129.81.158 GET /youhua.asp - 80 - 220.181.32.50 Baiduspider+

8.31蜘蛛正式起床上班了,它来了

2008-07-04 08:39:14 W3SVC868657 61.129.81.158 GET /sem.asp - 80 - 220.181.32.50 Baiduspider+

相隔8分钟又来一次,难道忘记带走公文包?

2008-07-04 08:43:08 W3SVC868657 61.129.81.158 GET /google.asp - 80 - 220.181.32.50 Baiduspider+

8.43分依旧在网站游荡.

2008-07-04 08:50:56 W3SVC868657 61.129.81.158 GET /seo.asp - 80 - 220.181.32.50 Baiduspider+

50分又来,只勤奋的蜘蛛~!

一直查找 蜘蛛在10点 11点  一直在网站爬行,从这里我们可以看出,百度蜘蛛并不是传说中的那么懒,只在夜间行动,其实百度一直都在你的网站,等待你给他们提供可口的食物.

所以,网站经常性更新,原创文章蜘蛛是非常喜欢的,我们网站60%原创文章,所以蜘蛛基本都在爬行,如果你的网站符合蜘蛛胃口,它会经常光顾你的网站,如果你不管你的网站,蜘蛛找不到可口的美味,那么它将有一天放弃你~@!

顺便把google的蜘蛛看一下:

2008-07-04 05:29:29 W3SVC868657 61.129.81.158 GET /index.asp - 80 - 66.249.66.225 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 200 0 0

我就不一一列举了,google蜘蛛比百度蜘蛛提前1小时离开

yahoo呢?遗憾的是它今天没来~!

顺便说下几个搜索引擎蜘蛛的名字,方便大家查看:

Google的蜘蛛： Googlebot
百度的蜘蛛：baiduspider
Yahoo的蜘蛛：Yahoo Slurp
MSN的蜘蛛：Msnbot
Altavista的蜘蛛：Scooter
Lycos的蜘蛛： Lycos_Spider_(T-Rex)
Alltheweb的蜘蛛： FAST-WebCrawler/
INKTOMI的蜘蛛： Slurp