服务器只放行CDN的IP,这样是否会造成蜘蛛抓不到内容

chinayang 18天前 16

当CDN开启搜索引擎优化的时候,遇到蜘蛛应该会直接回源吧,但是源站又只允许CDN的IP访问,这样是不是会导致蜘蛛抓不到内容
最新回复 (12)
  • tir 18天前
    引用 2
    这我就不知道了哦!
  • iks 18天前
    引用 3
    明确回答,不会。除非你在 DNS 里作死让 DNS 给蜘蛛解析到源
    当CDN开启搜索引擎优化的时候,遇到蜘蛛应该会直接回源吧
    ???为什么,除非特别设置,否则绝无可能
    建议了解 TCP/IP 和 DNS 以及 UA 的相关知识
  • 楼主 chinayang 18天前
    引用 4
    iks 发表于 2021-1-7 15:58
    ???为什么,除非特别设置,否则绝无可能
    建议了解 TCP/IP 和 DNS 以及 UA 的相关知识 ...
    我开启了CDN的搜索引擎优化之后,使用百度的抓取诊断,直接抓取的IP就是源站IP
  • ansheng 18天前
    引用 5
    蜘蛛为什么要访问源站?那要CDN干嘛
  • iks 18天前
    引用 6
    chinayang 发表于 2021-1-7 16:00
    我开启了CDN的搜索引擎优化之后,使用百度的抓取诊断,直接抓取的IP就是源站IP ...
    谁家的CDN和DNS?
  • 小旭 18天前
    引用 7
    chinayang 发表于 2021-1-7 16:00
    我开启了CDN的搜索引擎优化之后,使用百度的抓取诊断,直接抓取的IP就是源站IP ...
    应该是CDN放行源站IP
  • citywar 18天前
    引用 8
    那就关了呗 都明确是源站IP呢
  • duyu 18天前
    引用 9
    百度抓取诊断的ip不准,如果CDN开了搜索引擎回源,那蜘蛛肯定是爬不到你服务器的,反之蜘蛛解析和爬的是CDN上的节点,CDN起到了中转的作用所以还可以爬到
  • 楼主 chinayang 18天前
    引用 10
    citywar 发表于 2021-1-7 16:04
    那就关了呗 都明确是源站IP呢
    搜索引擎优化已经关闭
    随手发个帖子就收获了一波CC真实意想不到。
  • citywar 18天前
    引用 11
    chinayang 发表于 2021-1-7 16:09
    搜索引擎优化已经关闭
    随手发个帖子就收获了一波CC真实意想不到。
    MJJ都是热情的人 全球CD论坛
  • 楼主 chinayang 18天前
    引用 12
    duyu 发表于 2021-1-7 16:08
    百度抓取诊断的ip不准,如果CDN开了搜索引擎回源,那蜘蛛肯定是爬不到你服务器的,反之蜘蛛解析和爬的是CDN ...
    应该就是这样了,我把搜索引擎优化关掉了
  • guoguomiao 18天前
    引用 13
    回源指的是服务器接受到了访问请求立马去问后台服务器要最新的内容。不读缓存。
    而不是解析都变了。。。
    当然……那种301变到新域名的可能就。。。
    你可以参考终端服务器的访问日志啊……
  • 游客
    14
返回