试着做了双100g网卡直连

舒方22天前0

PC1:epyc 7302+bcm957508,PC2:epyc 7d12+mcx516a。
其实这事源头在很早以前,当时在咸鱼看到一个比较便宜的mcx516a,突发奇想就买了准备弄两个直连试试(交换机太贵)。但是第二张的网卡一时没看到便宜的,就搁置了,只是把两个网口连在一起跑了下,确认网卡没坏。
前一阵子忽然想起这事,在咸鱼淘宝看了下发现几乎没有降价,有点失望。过几天看到淘宝有家店上了号称全新三年保的bcm957508,支持pcie4.0*16,就买了一个,而且买完居然还涨价了。这种东西我总觉得价格水分挺大,不过业外人士也不了解内情,买了就买了吧。
用DAC线可以直连,双口100g,不过也没啥应用能跑满。

用ixchariot测速只能跑到单向35g,双向50g,大概是cpu性能太弱。用两个cd6做带区卷开共享,cdm测共享文件夹倒是能跑满,rdma确实有用啊。
后来买了四个洋垃圾光模块,有一个完全不亮,剩下的可以用但是一开始能协商到100g,过一会儿就自己断开,然后变成50g,不知道是线的问题还是光模块的问题。说起来,我把dac和光模块都接上的情况下,dac速率100g,光模块速率50g。这时候用cmd测共享文件夹,只跑在50g的那条上。拔掉之后,就是还剩dac直连,cdm就无法测试了,重启才能正常使用。

即使是两个cd6带区卷也不能充分利用这个网速,或者说跟单口100g没什么区别。
不过windows自带的文件管理器,居然只能跑到1g出头,用fastcopy基本上能跑到硬盘的极限,也就是4g/s。

题外话,Windows10工作站版有一个老诡异的特性,自带cx516a的驱动,但是不自带x550的驱动,感觉x550应该比cx516a常见很多啊。
最新回复 (9)
  • rx_78gp02a22天前
    引用2
    必须两台都是winserver才能打开rdma吗?需要做什么配置
  • a6057c22天前
    引用3
    rx_78gp02a 发表于 2022-4-27 11:33
    必须两台都是winserver才能打开rdma吗?需要做什么配置
    linux现在有smb direct客户端支持,samba服务端就不用想了
  • kouqin22天前
    引用4
    只有1GB/s ?不太可能啊。本坛我看到的测试都有3GB/s以上
  • 12167523522天前
    引用5
    我用那张544flr直接拉档案都能跑出4GB/s以上
  • 楼主舒方22天前
    引用6
    rx_78gp02a 发表于 2022-4-27 11:33
    必须两台都是winserver才能打开rdma吗?需要做什么配置
    工作站版也行
  • biogon3821天前
    引用7
    舒方 发表于 2022-4-27 12:13
    工作站版也行
    工作站版本是不是只能当rdma客户端来着,另外这个是开了roce v2了吧
  • shadoweyre21天前
    引用8
    楼主方便pm下两张卡什么价给个参考么谢谢
  • jerrytsao21天前
    引用9
    Windows之间和Linux之间都不难满速, 前者有SMB Direct, 后者就不说了
    比较麻烦一点的是Linux和Win之间跑满, 效能还不算太高, 可以试试StarWind NVMe-oF Initiator
  • uuyyhhjj21天前
    引用10
    a6057c 发表于 2022-4-27 11:54
    linux现在有smb direct客户端支持,samba服务端就不用想了
    不是网卡支持,系统支持,就行了吗,winserver默认启用smb直通的
  • 游客
    11
返回