网站site展现突然为0,排查解决后的seo思考

seo技术

一、前几天网站百度展现突然为0

前几天本博百度展现突然为0,具体表现如下

1、百度site网址,展现为0

2、百度站长工具后台展现为0

网站百度展现突然为0

而此前本博在百度上展现日均8000多

本次展现突然为0提前具有明显的征兆,具体表现如下:

1,site首页突然消失:在百度搜索框输入网址 www.liulinblog.com  显示没有收录;网站分页比如 https://www.liulinblog.com/page/3 占据搜索 品牌词 “木木资源博客”  首页。

博主以为的问题出在 博客分页被大量收录,内容重复,首页降权,于是马上更新了网站的robots

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /page
Disallow: /*/page
Disallow: /attachment/
Allow: /
Sitemap: https://www.liulinblog.com/sitemap.xml
Sitemap: https://www.liulinblog.com/sitemap.html

通过 Disallow: /page     Disallow: /*/page   禁止搜索引擎抓取分页,博主以为这样就可以解决首页降权的问题(这个方法是正确的,如果你们只是因为分页收录首页降权,可以用以上方法);再加上本博客流量主要来源于长尾关键词,首页排不排在第一页,博主并没有放在心上!

可是紧接着出现了第二个情况,博主慌了!

2.site网址,展现大幅度下降

网站site展现突然变少

此前网站site展现会有十几页,现在网站site展现突然大规模收缩

到此时,博主真的慌了,因为site展现大规模收缩,就会导致所有长尾关键词排名消失,流量也会消失,比如…..下图:

site展现消失,关键词排名消失,数据来源 5118网站

目前看来,本博客需要从头开始了,万恶的 IDC?

 

二、原因排查:网站site突然为0,展现突然为0 原因排查

原因可能1   robots封禁百度spider

这个问题排查很简单,你对robots规则熟悉就好,经排查没任何问题,排除。

原因可能2  本站用的是宝塔面板,宝塔防火墙屏蔽百度spider

为此,博主查阅了网站半个月的网站日志,看不懂的直接打开日志 搜索 Baiduspider  看看状态即可,经查从 从2019.6.16开始,百度spider 爬取量迅速下降,此后几天几近消失!

当然上面方法并非排除宝塔面板防火墙屏蔽百度spider的方法,博主自己也知道,并没有用宝塔防火墙,所以宝塔屏蔽 百度spider的可能排除!

原因可能3  服务器屏蔽百度spider,或者说百度spider屏蔽了服务器IP

这个地方重点强调,你一定要学会使用百度站长工具中的“抓取诊断”。

博客连接抓取失败

这就是根本原因,网站URL抓取失败,博主查询了 在这台服务器上所有的网站,经查 都是抓取失败

博主马上转移了一个简单的Dedecms 网站到另一个服务器上,验证抓取成功

问题,很明显,服务器屏蔽了 百度Spider 的抓取,博主咨询IDC提供商,提供商拒不承认服务器的问题,博主拿出大量证据,指向服务器,最终他承认了:

服务器机房开的是高防御,本博处于急速发展时期,百度spider抓取频繁,被服务器防火墙误认为Ddos攻击,屏蔽了!

…….what’s  the  fuc…..

 

教训总结:

1,一定要选择一个靠谱的IDC提供商,自己可以控制的服务器提供商

2、每个一个周到百度站长工具后台提供抓取测试,未雨绸缪;如果出现问题,及时提交百度更新IP和robots 并反馈!

3、对网站出现数据异常要及时反映,提高警惕

最后:提高警惕,网站出问题,站长两行泪…….

 

 

不过,上面说的,高防御 大家还是谨慎些好,否则服务器天天被黑客打,也是个问题,博主去部署CDN去…

 

继续阅读
各种观点
  1. 下一秒:

    你这也就是个人祸~

    • 兵临城下:

      其实这次事件我思考了很多,百度抓取频次过高问题;服务器安全问题…看来还得折腾折腾技术

  2. 东来东往:

    你偷偷的告诉我一下是那个IDC,好避免入坑

    • 兵临城下:

      说实话,不是IDC平台不靠谱,是我买了群里哥们的一个服务器,那台服务器是高防,正好我网站那几天百度抓取每天1600左右,服务器误认为是DDOS攻击,给封禁了百度Spider,本来是小事可是自己没办法操作解封;买服务器一定要买控制权在自己手上的,我是处于信任用的那哥们的,结果处理不及时….

发表观点
  • 昵称不能为空
  • 邮箱不能为空
  • 还是写点什么卅...