Robots.txt阻止索引15天后各搜索引擎的表现

去年10月份的时候做了一个女装方面的网站,因为收入方面不太如意,于是决定废弃用来做个博客写日记,顺便做个试验,看看各主流搜索引擎的表现。

具体操作过程是这样的,改版当天开始在robots.txt添加如下语句:

User-agent: *
Disallow: /

这次改版并未更换程序,Asp语言的zblog程序,只是更换了一套模板,首页、分类、文章页面的布局有较大的差异,新建了几个新分类,然后删除服务器上的静态文章目录。

之后是保持每天一篇纯原创的频率更新内容,历经15天,通过site指令查询得到各搜索引擎的表现,如下:

1、Google搜索引擎

google

内页收录变化特别慢,3000多的收录,还有1600多条。首页地址也还在,但是不显示description信息,只提示“由于此网站的 robots.txt,系统未提供关于该结果的说明”。没有收录新内容。

2、百度搜索引擎

baidu-seo

百度方面反应也比较慢。原先收录了40页,现在还有10页,首页已经没了,快照没了。也没有收录新内容。

3、360综合搜索

360-seo

内页无什么变化,收录一直保持在500多页,只是首页快照更新及时,保持隔天快照,没有新内容收录。

4、搜狗搜索

sogou-seo

内页收录已经全部删除,只余一个首页。快照更新缓慢,且标题不更新。不收录内页。

5、soso搜索

soso-seo

收录没有什么大的变化,首页快照更新及时,并少量收录内页。

综合以上信息来看,各搜索引擎的表现都不大相同。

谷歌、百度两大巨头虽然说遵守robots.txt协议,但是在删除已有收录内容方面还是比较慢,可以说是迟钝。

360综合搜索以及soso搜索则有点不鸟什么robots协议,旧的收录没删除,快照还是照样更新及时,偶尔还收录点新内容。

搜狗虽然反应强烈,删除了内页,停了快照,似乎最遵守robots.txt协议,有点搞笑。

seo不是技术,只是一种优化思路。

.

来源:未注明则为有货街原创,链接: http://www.yohojie.com/boke/26.html,禁止转载

上一篇:

下一篇:

广告赞助9.19-扫码即可下载安装