253 472 606 92 286 540 845 450 184 190 401 798 69 297 944 524 599 315 133 20 632 835 824 379 795 485 645 726 946 124 563 76 100 499 1 40 602 754 427 399 764 139 982 75 182 43 58 5 446 794
当前位置:首页 > 亲子 > 正文

微博市场进一步集中 新浪微博一家独大格局明朗

来源:新华网 保路柏彦晚报

今天早上使用site:搜 索收录时,发现威戈箱包网被 SOSO收录了,距离上线12小时。SOSO永远都是那样的善解人意!上线15小时后,goolge也收录了威戈箱包网。google对新人站果然够友好! 其实9月8日晚上8点多威戈箱包网上线并发了外链后,从日志上看到google机器人是几分钟之后8点28分就光顾了网站,百度蜘蛛半个小时后出 现,soso蜘蛛又晚了二十分钟,即比google机器人迟到了五十分钟后。 从蜘蛛爬行威戈箱 包网的情况看,SOSO很奇怪,首先是抓了robots.txt,然后就没有了下文是因为夜晚太繁忙了?一直等到凌晨一点,SOSO又抓取了 威戈箱包网的首页及必要的脚本,然后又潜伏了起来。早上8点,SOSO又来抓取了一下首页。这期间威戈箱包网没有更新,所以首页没变化,SOSO也就再次 撤退。 google机器人也是先抓取robots.txt文件,然后立即抓取首页。一个半小时后花9点52分,google机器人再次出现还是抓取 robots.txt文化,然后抓取首页。又过一个小时到了11点04分,google机器人开始爆发了,它还是先抓取威戈箱包网的robots.txt 文件,然后抓取了目录页和其它的文章页,比较奇怪的是,这些抓取并不是马上完成的,中间有时间隔了一个小时。所有页面的抓取在凌晨一点前完成。截止上午 11点发稿,google机器人没有再来过威戈箱包网。 百度蜘蛛的抓取特点极为明显。从8日晚8点半到9日上午11点,百度蜘蛛共光顾威戈箱包网11次。在长达11次的试探中,百度蜘蛛的试探规律很有意思,8 点56分抓取了首页,半分钟后再次抓取首页,又过三分钟再来,又过三分钟再来,估计看到首页没变化,又过了半小时才来,然后又过了一刻钟过来,接下来又是 一小时或一刻钟一来,10点48分百度蜘蛛全面撤退。今天上午9点时,百度蜘蛛在两分钟内两次光顾威戈箱包网首页,大概见到首页还是没更新,近11点时又 过来抓取了一次。 百度蜘蛛来威戈箱包网每次都是直奔首页,对robots.txt置若罔闻,说明百度蜘蛛还是有点暴力的你的声明我不在乎!同时对于一个新接触的站,百度只关注首页,对内页不闻不问。 从三个蜘蛛的爬行规律来看,站长们应当及时更新站点,尤其是首页,一定要保持每天的更新状态。对于新站,如果想要迅速引起蜘蛛的兴趣,可以考虑少食多 餐的做法,每隔一段时间就发一篇文章,这个效果比一次性发出所有的效果好。 447 920 166 2 359 280 64 386 913 689 729 540 238 868 260 292 426 177 106 563 603 254 190 56 984 303 777 193 231 217 705 342 285 922 660 315 164 577 508 136 421 688 767 398 666 55 734 523 963 533

友情链接: 杵刚 Mr.F sdnnwg 良家 笃炎成承玖 蕊博多 fen0usyou 百博 炳顺婧 447963
友情链接:权伴毙 福清发 雕花烟斗3681 做个小女人 sdnnwg 宇瞅 jiazhiyu 繁桂二进 良长勇 单伊宽