服务器只放行CDN的IP，这样是否会造成蜘蛛抓不到内容

chinayang 18天前 16

当CDN开启搜索引擎优化的时候，遇到蜘蛛应该会直接回源吧，但是源站又只允许CDN的IP访问，这样是不是会导致蜘蛛抓不到内容

上一篇：我这种算是舔狗嘛

下一篇：安装whmcs8.1.0

最新回复 (12)

tir 18天前

引用 2楼

这我就不知道了哦！
iks 18天前

引用 3楼

明确回答，不会。除非你在 DNS 里作死让 DNS 给蜘蛛解析到源
当CDN开启搜索引擎优化的时候，遇到蜘蛛应该会直接回源吧
？？？为什么，除非特别设置，否则绝无可能
建议了解 TCP/IP 和 DNS 以及 UA 的相关知识
楼主 chinayang 18天前

引用 4楼

iks 发表于 2021-1-7 15:58
？？？为什么，除非特别设置，否则绝无可能
建议了解 TCP/IP 和 DNS 以及 UA 的相关知识 ...
我开启了CDN的搜索引擎优化之后，使用百度的抓取诊断，直接抓取的IP就是源站IP
ansheng 18天前

引用 5楼

蜘蛛为什么要访问源站？那要CDN干嘛
iks 18天前

引用 6楼

chinayang 发表于 2021-1-7 16:00
我开启了CDN的搜索引擎优化之后，使用百度的抓取诊断，直接抓取的IP就是源站IP ...
谁家的CDN和DNS？
小旭 18天前

引用 7楼

chinayang 发表于 2021-1-7 16:00
我开启了CDN的搜索引擎优化之后，使用百度的抓取诊断，直接抓取的IP就是源站IP ...
应该是CDN放行源站IP
citywar 18天前

引用 8楼

那就关了呗都明确是源站IP呢
duyu 18天前

引用 9楼

百度抓取诊断的ip不准，如果CDN开了搜索引擎回源，那蜘蛛肯定是爬不到你服务器的，反之蜘蛛解析和爬的是CDN上的节点，CDN起到了中转的作用所以还可以爬到
楼主 chinayang 18天前

引用 10楼

citywar 发表于 2021-1-7 16:04
那就关了呗都明确是源站IP呢
搜索引擎优化已经关闭
随手发个帖子就收获了一波CC真实意想不到。
citywar 18天前

引用 11楼

chinayang 发表于 2021-1-7 16:09
搜索引擎优化已经关闭
随手发个帖子就收获了一波CC真实意想不到。
MJJ都是热情的人全球CD论坛
楼主 chinayang 18天前

引用 12楼

duyu 发表于 2021-1-7 16:08
百度抓取诊断的ip不准，如果CDN开了搜索引擎回源，那蜘蛛肯定是爬不到你服务器的，反之蜘蛛解析和爬的是CDN ...
应该就是这样了，我把搜索引擎优化关掉了
guoguomiao 18天前

引用 13楼

回源指的是服务器接受到了访问请求立马去问后台服务器要最新的内容。不读缓存。
而不是解析都变了。。。
当然……那种301变到新域名的可能就。。。
你可以参考终端服务器的访问日志啊……
游客

14楼

发新帖

chinayang

主题数
99948

帖子数
1404146

注册排名
2

精彩推荐