cloudflare 是怎么知道我用 requests 的?

freshgoose 25天前 29

我通过代理访问一个网站,在流览器访问(隐身模式+禁止 JS )没问题,可以拿到 html,用 requests.get 就 403 了,显示了 cf 的页面,提示我要滑验证码。

但是我明明把 headers 都凑齐了(通过 Network 把 requests header 一个个复制出来的),跟浏览器用的一个代理,怎么偏偏 requests.get 就 403 了呢?

那个网址是:aHR0cHM6Ly93d3cuYXJ0c3RhdGlvbi5jb20vYXJ0d29yay84bEQ0blE=

大家有空可以研究一下,我实在搞不懂。

最新回复 (22)
  • shylockhg 20天前
    引用 2
    不太懂,代理做的是转发吧,http 头有字段会声明客户端( request )
  • wangxiaoaer 20天前
    引用 3
    cookie 呢?抓包对比呗。
  • ZeroClover 20天前
    引用 4
    https://sm.ms/image/MVqWXUfg52E18CJ

    这个网站用了 Cloudflare Bot Management

    用 cURL 之类的访问,即使模拟了各种 Header 和 UA,在 CF 后台也仍然可以看到 knownBotClientHelloExtensions 这种标识
  • 楼主 freshgoose 20天前
    引用 5
    @shylockhg #1 感谢回复,应该是没有声明客户端的,这是我同一环境下请求 httpbin 的结果: https://pastebin.com/b27uaKvW
  • 楼主 freshgoose 20天前
    引用 6
    @ZeroClover #3 感谢回复,那为什么我用:同样的 IP + 浏览器隐身模式 + 禁止 JS 又能访问呢,按理来说这样子一搞,跟直接用 requests.get 也没啥区别了吧
  • chinvo 20天前
    引用 7
    @freshgoose #5 cookie
  • ZeroClover 20天前
    引用 8
    @freshgoose 我只是客户,不是 CF 的人,他们也不会详细告诉我怎么实现的。

    https://sm.ms/image/xlyEC82cPtqz51L

    就他们的说法,Bot Management 会通过 JS 来识别 Bot,如果禁止 JS 只是识别率下降,但是那是针对无头浏览器,一般的什么 requests 还是识别率很高
  • chinvo 20天前
    引用 9
    @freshgoose #5 还有后续请求

    curl 不会在加载页面之后继续加载引入的资源

    总之,很多行为上的差异
  • lance6716 20天前
    引用 10
    很多方式,比如让你 5 秒内暴力算一个 js 程序,能算出来的才是有计算资源的浏览器
  • yinanc 20天前
    引用 11
    @lance6716 啥浏览器这么智能?还能服务器让你做啥就做啥?
  • WordTian 20天前
    引用 12
    ua?我记得 requests 的 ua 会带一些
  • WordTian 20天前
    引用 13
    ua?我记得 requests 的 ua 会带 requests 的信息,没
  • WordTian 20天前
    引用 14
    @WordTian 没打完发出去了,两次。。。
  • vibbow 20天前
    引用 15
    你看一下 https 握手时使用的协议
  • Yourshell 20天前
    引用 16
    跟反爬虫一个道理吧
  • msg7086 20天前
    引用 17
    @yinanc 每个浏览器。
  • xihefeng 20天前
    引用 18
    有点意思,我明天看看
  • love 20天前
    引用 19
    你就那么确定真和浏览器发出的一样?不抓包看看?还要比较浏览器头的顺序和大小写。有些语言的 dict 结构没有顺序。
  • wd 20天前
    引用 20
    他们可以这么做,不是通过者一个请求来判断你是不是合法。比如浏览器访问这个 url 前还访问了其他 url,你直接 request 没有这个逻辑
  • alan0liang 20天前
    引用 21
    看 #3 说的 knownBotClientHelloExtensions,应该是 TLS 握手的时候 Extensions 顺序什么的不太一样
  • binux 20天前
    引用 22
    SSL fingerprint
  • Chaidu 20天前
    引用 23
    太多方式可以识别了。比如,你通过浏览器访问网页,服务器能获取你系统安装了哪些字体(这一条就超过很多人的认知范围了吧?)
  • 游客
    24
返回