网站流量异常高?可能是被爬虫盯上了

今天被百度问候到了

Posted by Zeusro on March 5, 2020

问题

2020-03-05 星期四,下午一点.百度流量异常地高,超过了200Mbps.

联系了网宿那边的技术,说是百度的爬虫在捣鬼.

让他们导出了一系列IP

切换到阿里云之后,发现百度竟然还把我网宿的IP给记住了,真是666.

然后我查看了站长后台,抓取的频次确实高了些.

结论

  1. 123.125 xxx xxx
  2. 220.181 xxx xxx

这2个网段都是百度那边的IP,原则上要放行.而且他们喜欢在周四更新.