网站蜘蛛突然都不来了,查来查去,原因竟是

bb1234a 13天前 20

有个小网站,之前也没怎么打理,今天一看,发现一个多星期前蜘蛛突然就没了,排查了很久,才发现是宝塔防火墙惹的祸,关了防火墙,刷新下,蜘蛛又奋不顾身的冲上来了
最新回复 (8)
  • 16qf 13天前
    引用 2
    hxuf 发表于 2020-11-21 19:50
    百度的蜘蛛库不准,临时工蜘蛛太多了。
    万一是勤奋的MJJ采集站伪装的UA
  • hxuf 13天前
    引用 3
    heyechuanmei 发表于 2020-11-21 19:24
    蜘蛛不是一般都在防火墙白名单里面么
    百度的蜘蛛库不准,临时工蜘蛛太多了。
  • heyechuanmei 13天前
    引用 4
    蜘蛛不是一般都在防火墙白名单里面么
  • heyechuanmei 13天前
    引用 5
    hxuf 发表于 2020-11-21 19:50
    百度的蜘蛛库不准,临时工蜘蛛太多了。
    原来如此,学习了
  • MSN 13天前
    引用 6
    在哪里关闭防火墙.png
  • 六翼天使 13天前
    引用 7
    免费的一直开着
  • hxuf 13天前
    引用 8
    16qf 发表于 2020-11-21 20:06
    万一是勤奋的MJJ采集站伪装的UA
    亲测用百度官方工具,过来的蜘蛛是广东电信。nslookup 什么也没有,明显是临时工蜘蛛。
    肯定不是MJJ的采集。
  • llmwxt 13天前
    引用 9
    学习了一个知识点!
    谢谢!
  • 游客
    10
返回