Leikibot是什么爬虫,浏览器头为Leikibot/1.0; +http://www.leiki.com

admin 6月前 167

今天发现网站日志里有大量名为Leikibot的爬虫
IP为
34.67.89.238
146.148.96.232
34.67.196.124
等等
抓取频率非常快,给服务器造成不小压力
经过查询
Leikibot是一家广告投放分析网站,位于美国,使用它的服务,要花费不菲的人民币,而且还不提供中文语言
对于我们来说没什么用,可以屏蔽它
Leikibot遵守robots
我们只需要在robots.txt中添加

User-agent: Leikibot
Disallow: /

Leikibot对robots反应时间比较慢,耐心等侍
最新回复 (1)
返回