我攒了一台双3090ti工作站

JihadFenix28天前0

先贴张图
CPU 5900x——这个买的最早,还搭配x370太极用了一阵,感谢ass*rock[/滑稽]
主板 C8E——因为考虑攒机的时候这个和X570godlike是唯一两个支持4槽宽pcie布局的主板。EVGA倒是出了俩4槽的x570,可惜购买太麻烦了。outel12代板子线,华缩干脆只在apex和extreme上保留了sli,虽然一般人也用不到这个,还是不禁要提醒(吐槽)一下。
内存 海力士ecc udimm 3200hz 32g*4——真伪不明...选这个是参考了gaojie20@大佬的神贴:
https://www.chiphell.com/forum.p ... ertype=1&page=1
这篇知呼上也放了。当时拜读了好几遍,深受启发。在此致敬以下。
也曾一度想要搭个县撕普又平台,但是考虑现在GPU的功耗creep以及伴生的散热、供电等一堆麻烦,还是作罢。wrx80e也折价出掉了。主要还是没钱
机箱 bequiet silent802——箱子的装机体验还挺好,但并不是工作站向的设计。pcieIO口有7个,第一个对应的是主板的M.2直通位,所以实际供pcie扩展使用的只有六条。考虑到主板的4槽宽分布,则底部卡只能是2槽挡板。这也是为什么没有买俩映众X3(三槽挡板,没法改)的一个原因。战斧为两槽挡板。要是映众这卡也像影驰的星曜那样支持换挡板就好了。

这箱散热其实一般,双盖板设计比较噱头,我一直都用的透气组合。而且下方有电源仓和硬盘笼(需要机械盘,舍不得拆 ),风冷的话应该比不过FD torrent。
两张3090ti分别是七彩虹战斧和映众X3OC——这算是主菜吧:
首先这俩是在售风冷卡中仅有的俩三槽厚度60mm,外形也方方正正。手头还有一片屏蔽牌3090大雕,去年矿潮时组里采购的,品牌型号根本没得选,供应商有啥买啥,价格辣眼。此卡尺寸无比臃肿,3槽半70+mm厚,外壳还比nv桥插口要高一截,想上桥还得拆掉IO一侧,而且背面散热也是旗舰型号中较差的。基本断绝了scaling潜力,捏着鼻子买的。对比之下,60mm厚度下两90ti之间起码有了点呼吸空间,外加单面显存充分发挥了正面散热组件效能,温度表现好多了。一体水尺寸普遍更小,比如屏蔽的水雕只有40mm厚严格两槽,非常友好;但是多冷排的安置是个问题,另一方面我个人始终对水冷的稳定性和寿命持保留态度(cpu上的EK是另一个故事了)。何况价格也高10%。
然后说下nvlink。桥是海淘的evga。这一代消费级nv桥只有四槽宽的。专业产品线倒是有2,3槽的,pugetsystem也作了测试,无论是连接双3090还是安培pro系列,两种桥通用。只是价格差了1倍多。这代NVLINK3都是硬桥,所以对pcb尺寸和插头位置有严格要求,基本只能同款卡才能桥接。这次的3090ti很多都是公版或准公版pcb设计。映众X3OC的pcb拆解图早早曝光,但战斧到现在我还没有搜到pcb照片。不过一同发布的火神/水神的pcb网上能搜到,经坛佬BFG9k指点说此次七彩虹三卡pcb同设计。遂下单。上机之后确实插头兼容,可以顺利安装nvlink,系统内也识别。

不过nvlink对于pytorch真是玄学,粗测的几个模型里,只有一个DDP写的训练在有无桥时有差不多15%的差别,inference的基本没差。网上鲜有相关资料。
最后说下这两张卡好了:这两张3090ti首发价格都是14999,算是这一代光环产品中的平价型号。本体的做工都还好,不过有这样几点:
1 战斧的IO挡板缺少支撑,卡在自重作用下会下垂,我在io挡板和散热外框之间塞了硬纸片,相比之下映众因为是个三槽IO设计,其挡板和框体由分布更宽的螺丝接合,更稳固一点;
2 战斧没有防尘塞和金手指套,很节约环保(??);
3 战斧稍短一些,尾部的colorful标志是个红色呼吸灯,X3OC有环绕风扇的rgb,不过我是非侧透机箱,并不在意;
4 七彩虹3风扇(俩大一小)最大转速均为2800rpm,映众是3000,实际两者单卡使用时的温度表现差不多,默认风扇曲线下用aida烤鸡都是核心74度热点80度,手动风扇满转则68/73;值得注意的是两者都带风扇起停,但战斧起转的最低转速就是1500/1800,而映众则是900左右,测试时感觉映众整体上能安静一点;电源ax1600i,连了corsair link。双卡aida烤鸡,hwinfo64上电源栏读数最大功率1050w,风扇都调最大,主卡核心79副卡72,映众的核心频率比七彩虹高二三十,没敢跑太久;
5 两张都是新卡,拆包装时发现映众背板有一处磕碰,因为急用没有追究,不知是厂家的原因还是说买到了二手;
6 两者都支持个人送保,国内七彩虹售后口碑算是挺好的(点一下某星),映众看社交网络上的反馈也还可以就是有点作坊,不过保修结果基本都是好的,另外搜索‘映众保修’有很多结果都提到风扇故障要更换,不知道是不是这个牌子产品的通病。
组里僧多粥少,毕业压力山大。机器装好粗测了一下就开始跑训练了。俩卡都限制功率,简单实验了下:
双卡单位任务计算耗时:450w:350w:300w = 1:1.06 : 1.21 (基于我的实验,按照s/kimg指标的估算)

默认功耗下要快不少,但整体散热负担太重了。
其实还作了些其他测试,但没有系统整理。午休时间要结束了,也许等五一假期能抽空在做些测试,像是pytorch教程 或者lambda lab的benchmark啥的,还有nvlink对pytorch/tensorflow的意义。
谢谢观看
最新回复 (57)
  • yaoiverson28天前
    引用2
    下面那张直接贴边了
  • 我也想问下面那张卡的散热情况如何,从30系开始有电源仓,或者说下置电源的机箱真的该退环境的,现在机箱最大的热源就是显卡,而传统设计使得显卡根本吃不到足够的风量,风扇白忙活。
  • _小板28天前
    引用4
    双卡散热还是差些
  • tracym28天前
    引用5
    Epimetheus_Tea 发表于 2022-4-27 14:21
    我也想问下面那张卡的散热情况如何,从30系开始有电源仓,或者说下置电源的机箱真的该退环境的,现在机箱最 ...
    像我为了两张3090的间距选了巨大的海盗船780t机箱
  • shadoweyre28天前
    引用6
    双卡搞水冷的不香么。。。这种一个机箱1P的热功耗。。。
  • lzhdim28天前
    引用7
    感觉内存频率低了,,,
  • d6828天前
    引用8
    理线不错,炼丹时风扇吵吗?
  • fcs1596328天前
    引用9
    战斧这卡找不到拆解图看,不知道散热模组什么情况
  • solder28天前
    引用10
    买根pcie延长线把其中一张显卡拖机箱外就能双满负荷了。你这样装上方的卡吃热风太狠
  • sawchen28天前
    引用11
    第二张卡感觉是放在电源仓上
  • nuts_mr28天前
    引用12
    炼丹机感觉还是全塔加美的风扇吹舒服点
  • wozuimeng28天前
    引用13
    低u高显。。
  • 楼主JihadFenix28天前
    引用14
    Epimetheus_Tea 发表于 2022-4-27 14:21
    我也想问下面那张卡的散热情况如何,从30系开始有电源仓,或者说下置电源的机箱真的该退环境的,现在机箱最 ...
    嗯,我在底面还装了一个A15吸风,不过后来忍不住还是装了硬盘笼,所以显卡确实吃不到多少来自下方的新风。
  • CAGD28天前
    引用15
    老哥,你好。我也是炼丹的,实验室目前也计划买双3090Ti。想咨询几个问题,
    1、战斧贴机箱太近了,进风受影响,温度会不会偏高?是不是得换海盗船780T这样的9个PCIE slot的?
    2、战斧装了之后,主板最下面的开机跳线、音频线、USB2.0线还能装吗?
    3、如果一个程序吃双卡跑,会不会效率提升不明显,效果只能是1 + 1 = 1.5 ?比如单卡训,一小时跑100个epoch;双卡训,一小时只能跑150个epoch的情况?
  • 楼主JihadFenix28天前
    引用16
    shadoweyre 发表于 2022-4-27 14:34
    双卡搞水冷的不香么。。。这种一个机箱1P的热功耗。。。
    分体水有认真考虑过,考虑到成本、维护难度以及坏账风险,最后还是没有实施。这里面学问讲究挺多的,第一次就在主力机上搞,太daunting了。
  • 楼主JihadFenix28天前
    引用17
    d68 发表于 2022-4-27 14:45
    理线不错,炼丹时风扇吵吗?
    主卡我都调90%,副卡70%左右。挺吵得。
  • 楼主JihadFenix28天前
    引用18
    lzhdim 发表于 2022-4-27 14:36
    感觉内存频率低了,,,
    嗯udimm ecc好像就这水平,小参更是惨不忍睹。
  • 楼主JihadFenix28天前
    引用19
    fcs15963 发表于 2022-4-27 15:09
    战斧这卡找不到拆解图看,不知道散热模组什么情况
    至今没有。看京东评价,感觉战斧出货量还可以(对于90ti来说),不知为啥没人拆测。
  • gylj705828天前
    引用20
    这里面学问讲究挺多的
  • d6828天前
    引用21
    JihadFenix 发表于 2022-4-27 17:04
    主卡我都调90%,副卡70%左右。挺吵得。
    盖上机箱盖会不好点,炼丹或者甜甜圈时显存温度高吗?
  • 楼主JihadFenix28天前
    引用22
    solder 发表于 2022-4-27 15:16
    买根pcie延长线把其中一张显卡拖机箱外就能双满负荷了。你这样装上方的卡吃热风太狠 ...
    外置的话如何安置呢?不过确实,带负载时上下卡核心差10度左右。
  • fkpwolf28天前
    引用23
    这是做毕设么?还是自己购买设备啊,感觉这种训练模型的机器组内可以共享啊
  • lzhdim28天前
    引用24
    机箱内部加棉?吸音,哈哈
  • fairness28天前
    引用25
    solder 发表于 2022-4-27 15:16
    买根pcie延长线把其中一张显卡拖机箱外就能双满负荷了。你这样装上方的卡吃热风太狠 ...
    这样的话,NVLINK桥接没法实现了。
  • jintianbusha27天前
    引用26
    服务器不丢机房远程登陆吗?
  • shadoweyre27天前
    引用27
    JihadFenix 发表于 2022-4-27 17:01
    分体水有认真考虑过,考虑到成本、维护难度以及坏账风险,最后还是没有实施。这里面学问讲究挺多的,第一 ...
    说的是七彩虹水神这种 240一体
  • solder27天前
    引用28
    JihadFenix 发表于 2022-4-27 17:09
    外置的话如何安置呢?不过确实,带负载时上下卡核心差10度左右。
    第二个办法,前面板上满35mm厚度以上工业暴力扇(非常便宜),盖上侧板,两张卡都能满载。问题是直升机一般的噪音
  • 楼主JihadFenix27天前
    引用29
    shadoweyre 发表于 2022-4-27 18:33
    说的是七彩虹水神这种 240一体
    哦,我已经有一个cpu水冷了,两张一体水的话冷排不好安置。坛里有大佬晒了自己的双水神,好像是比较安静,但是冷排和走线比较随性。
  • 楼主JihadFenix27天前
    引用30
    jintianbusha 发表于 2022-4-27 17:36
    服务器不丢机房远程登陆吗?
    这个机器就在脚边放的。实验室倒是有个屋子放服务器,但其实就是单独隔出来的一个房间,不是那种专业机房。我有时会用ssh访问这个机器。
  • chh-carter27天前
    引用31
    solder 发表于 2022-4-27 15:16
    买根pcie延长线把其中一张显卡拖机箱外就能双满负荷了。你这样装上方的卡吃热风太狠 ...
    有NVlink桥,你托机箱外,桥怎么装。
  • 楼主JihadFenix27天前
    引用32
    lzhdim 发表于 2022-4-27 17:19
    机箱内部加棉?吸音,哈哈
    哈哈 bequiet家就爱搞这个,1cm厚隔音棉,效果见仁见智
  • 楼主JihadFenix27天前
    引用33
    fkpwolf 发表于 2022-4-27 17:10
    这是做毕设么?还是自己购买设备啊,感觉这种训练模型的机器组内可以共享啊 ...
    毕设。。。
    这台机器撤掉大雕之后就基本算是自费。自主自用。
    服务器的话要和大家协调使用时间,而且组里的设备也有点陈旧了。
  • 楼主JihadFenix27天前
    引用34
    d68 发表于 2022-4-27 17:07
    盖上机箱盖会不好点,炼丹或者甜甜圈时显存温度高吗?
    啊 侧盖一直盖着的。显存温度我真没注意。ubunt系统好像没有windows那些软件能读取完整的传感器信息。我倒是装了Imsensor,也仅限于读个核心温度。
  • solder27天前
    引用35
    CAGD 发表于 2022-4-27 16:54
    老哥,你好。我也是炼丹的,实验室目前也计划买双3090Ti。想咨询几个问题,
    1、战斧贴机箱太近了,进风受 ...
    如果必须放机箱内,思路无非是暴力机箱风扇辅助或者双水冷卡。前者对机箱几乎无要求(侧板不能洞洞流),主板不太好选。后者主板随便买,但机箱前、上面板要都能安装冷排
    如果能上架子就简单了。矿老板别的好事没干,机架做了不少。双延长线+架子+nvlink搞定,显卡在架子上凉快得很,而且风扇方向也是对的。

    机箱前面板上暴力扇的方式其实最适合涡轮卡,开放散热显卡的话,尾扇排出的热风又吃回去了
  • d6827天前
    引用36
    JihadFenix 发表于 2022-4-27 19:41
    啊 侧盖一直盖着的。显存温度我真没注意。ubunt系统好像没有windows那些软件能读取完整的传感器信息。我 ...
    gpu-z可以看的,一般显存温度会比显卡温度高很多
  • 楼主JihadFenix27天前
    引用37
    CAGD 发表于 2022-4-27 16:54
    老哥,你好。我也是炼丹的,实验室目前也计划买双3090Ti。想咨询几个问题,
    1、战斧贴机箱太近了,进风受 ...
    额,道友好。我知无不言哈:
    1 战斧在下方,进风确实受阻,但实际还是上卡更热,因为要吃尾气; 海盗船780t我没关注过,但是我考虑过追风者的620pc,那个双水神大佬晒过。风冷感觉比较合适,它的电源装在背侧,下方可以装额外的风扇进风。不过好像是8槽。
    2 好像音频线太高了,会冲突。主板跳线高度可以。最下面我基本没插啥了。要我说唯一麻烦的点是主板bios切换按钮被下卡挡住了。
    3 这个得看具体程序吧。理论上利用率吃满的话,应该能有1.9倍左右的提升。可以看下lambda lab的benchmark:
    https://lambdalabs.com/blog/nvid ... tx-3090-benchmarks/
    如果是实验室采购的话,我完全不建议双3090ti。几乎没有scale up空间。不如考虑涡轮3090或者Ax000系列。
  • 楼主JihadFenix27天前
    引用38
    d68 发表于 2022-4-27 19:47
    gpu-z可以看的,一般显存温度会比显卡温度高很多
    gpu-z没有linux版本吧
  • 楼主JihadFenix27天前
    引用39
    solder 发表于 2022-4-27 19:47
    如果必须放机箱内,思路无非是暴力机箱风扇辅助或者双水冷卡。前者对机箱几乎无要求(侧板不能洞洞流), ...
    确实,同意大佬你这里的思路。好在现有的配置基本满足散热需求。
    因为x570平台双计算卡就是极限了,缺少tr pro那样的扩展性。上机架意义不大。而且实验室灰挺大的。
  • CAGD27天前
    引用40
    JihadFenix 发表于 2022-4-27 19:55
    额,道友好。我知无不言哈:
    1 战斧在下方,进风确实受阻,但实际还是上卡更热,因为要吃尾气; 海盗船78 ...
    好的,感谢。机箱目前可选择的很少,780T、PK620。和你情况一样,实验室灰大,必须整个机箱套上。
    然后没有机房,机器都是和台式机一起放在办公桌上,机器离人很近,所以涡轮卡不能买,太吵,显卡必须得买三风扇的非公版。
    第三点,我其实只想问问楼主有没有遇到效率不高的情况。
    AMD在用pytorch多卡训练的时候,效率不如Intel,而且一定概率会发生死锁。
    这个问题,在github下面挂了一年了,pytorch官方至今未解决。我被搞了几个月,只要nn.DataParallel()调用,必死机。
    https://github.com/pytorch/pytorch/issues/52142
    Deadlock in a single machine multi-gpu using dataparlel when cpu is AMD
  • traekle27天前
    引用41
    CAGD 发表于 2022-4-27 21:02
    好的,感谢。机箱目前可选择的很少,780T、PK620。和你情况一样,实验室灰大,必须整个机箱套上。
    然后 ...
    python 3.7以下版本dataloader 有几率卡死, python的bug。
  • traekle27天前
    引用42
    楼主训练DDP NVLINK 有效, inference 无效是因为 NVLINK 只有在GPU之间传输数据的时候才会有用, 也就是在训练阶段 多卡计算loss 用了cuda reduce到GPU0 上算loss sum,然后计算好的gradient 再通过broadcast 到别的GPU上。 同时 如果网络层用了Syc batchnorm, 训练阶段也会用到gpu之间的桥来传输 mean var。 这些操作 在inference的时候就不需要了, 所以没效果。
  • 楼主JihadFenix27天前
    引用43
    CAGD 发表于 2022-4-27 21:02
    好的,感谢。机箱目前可选择的很少,780T、PK620。和你情况一样,实验室灰大,必须整个机箱套上。
    然后 ...
    目前为止我没遇到过这个bug。而DP和DDP我总用,尤其这半年。还有amd效率不如Intel这一点,有reference吗?说的我血压都高了。
    印象中A和I有性能差异好像出在backend线代库的选择上,就是cpu对cublas,openblas还有mkl这几个的适配不同。你提出的这个多卡效率差异是出自哪里?
    另外,你说‘必须得买三风扇的非公版’,听起来好像你已经锚定要买3090ti。其实90/90ti满载都会很热很吵,都不适合放在工位边上。涡轮3090可以将大部分热量直接排到箱体外,不给其他原件转嫁散热负担。更何况尺寸是严格两槽,日后可以加卡,有升级潜质。理想情况下,工作站还是远程连接最好,哪怕放在隔壁。
    我现在的经验是scaling capability才是王道,单节点上卡多多益善。
  • 楼主JihadFenix27天前
    引用44
    traekle 发表于 2022-4-27 21:32
    楼主训练DDP NVLINK 有效, inference 无效是因为 NVLINK 只有在GPU之间传输数据的时候才会有用, 也就是在 ...
    嗯,这个原理我理解。NVlink提供了卡间通信快路,绕过了cpu链。
    关键是试的程序里只有一个用DDP的训练脚本有明显差异,我想知道具体怎样的写法才能让torch充分调用nvlink。
    不过大佬将原理解释的很清楚,感服。
  • traekle27天前
    引用45
    JihadFenix 发表于 2022-4-27 23:19
    嗯,这个原理我理解。NVlink提供了卡间通信快路,绕过了cpu链。
    关键是试的程序里只有一个用DDP的训练脚 ...
    你说的别的多GPU训练没有明显差异 指的是dataparallel 的多GPU计算吧, 那个比较坑 虽然代码写起来简单。 如果是 resnet, batchnorm 不能再gpu之间互相通信, 也就是说batchnorm 看到的batchsize 变小了, 因为不能gpu之间通信, 所以差距不大。 你看看你的模型, 或者把他DDP下的sync batchnorm 给去掉 看看速度的区别。
    开坑 一定要从DDP开
  • huihuige27天前
    引用46
    可能有人说过
    我也想说
    都双3090TiNVlink了
    还纠结于这个机箱?换机箱啊
  • 楼主JihadFenix27天前
    引用47
    huihuige 发表于 2022-4-28 09:37
    可能有人说过
    我也想说
    都双3090TiNVlink了
    所有配件并不是一次统一下单,机箱其实是沿用下来的,忒修斯之船。现在换太折腾了。
  • CAGD27天前
    引用48
    JihadFenix 发表于 2022-4-27 23:08
    目前为止我没遇到过这个bug。而DP和DDP我总用,尤其这半年。还有amd效率不如Intel这一点,有reference吗 ...
    总之,AMD平台多GPU炼丹的时候,硬件不兼容的bug会遇到的多一些。当然,没遇到最好,不同的代码,是有差异的。
    我说的多卡跑pytorch出bug的代码,举例:https://github.com/tiangexiang/CurveNet。我测试的配置是3700X+RTX TITAN * 2,这样配置的机器我有两台,都会死锁。
    "必须得买三风扇的非公版",是因为机房都被申请没了,我们买的所有机器只能放在办公室用,自然是不能买声音大的配置,比如涡轮卡或服务器暴力扇这种。
    只能买可调节风扇转速的塔式机箱,放在自己办公桌旁边用。为了照顾所有人的办公体验,大家全部都买双卡机,卡都是三风扇非公版,这样跑起来静音。
    比如我手里的八台机器,全都是双1080Ti、双2080Ti、双RTX TITAN。机器整体噪音,只比办公机略大。

    扩展性,我们有认真思考过,目前还玩不起。自建无尘机房,几十万。机房可以放得下几十台服务器,买机器都是8卡3090,买满整个机房,要再花上千万。
  • LightningWu27天前
    引用49
    盖上盖子估计温度会暴涨
  • d6827天前
    引用50
    LightningWu 发表于 2022-4-28 14:17
    盖上盖子估计温度会暴涨
    是的,什么风道,猫扇,14cm,20cm,都不如打开盖子
    我现在前,左,右都开盖,光溜溜,显存温度还94。。。
  • 楼主JihadFenix27天前
    引用51
    CAGD 发表于 2022-4-28 13:44
    总之,AMD平台多GPU炼丹的时候,硬件不兼容的bug会遇到的多一些。当然,没遇到最好,不同的代码,是有差 ...
    amd多卡不兼容这个点我昨晚试着搜了一下。你贴的这个repo也是pytorch写的。会不会是特定的pytorch/cuda/driver版本下才会产生此bug呢?
    说到机房,其实在校园里各个团队很少有独立的专业机房吧,我们就是做了一个玻璃隔断,然后把机柜集中放在小屋子里。
    看你晒图感觉还挺羡慕,盲猜是每个人都有一台(或以上?)专有的机器。这样倒是保证了公平性,不需要相互协调时间。坏处就是没法’集中力量办大事‘,各自为战,都在学习或者做prototyping。可能也因为你们组的研究课题没有那么吃计算规模,所以双卡即满足需求。
    确实,扩展性的终点可以是落到“安置在专业机房的矩形数据计算中心”。但这个配置对学界大部分人来说太远了,也没必要。我只希望今年采购设备时能有便宜的A100。
    期待Hopper
  • panda198827天前
    引用52
    厉害啊
  • CAGD27天前
    引用53
    JihadFenix 发表于 2022-4-28 15:15
    amd多卡不兼容这个点我昨晚试着搜了一下。你贴的这个repo也是pytorch写的。会不会是特定的pytorch/cuda/d ...
    六七年前,我们有个师兄,每次跑程序就把机器上所有的卡都占了,不让别人跑。
    后来我成为了机器管理者后,和实验室的人商量,达成一致是每台机器就给一个人用,所以每次买机器都是双卡。当然静音也是刚需。
    但是我们实验室也不穷,双卡机,几年下来买了五六十台,每人最少有三四台,多六七台。
    大老板功成名就了,所以不管我们的具体研究方向了。只要是computer vision领域的问题都可以研究;只要论文不造假,多水都能发。
    当然,双卡机也限制了我们的研究,比如视频的任务、ImageNet,无监督学习等等这些没人做,因为这些都需要八卡机。
  • 楼主JihadFenix27天前
    引用54
    CAGD 发表于 2022-4-28 15:46
    六七年前,我们有个师兄,每次跑程序就把机器上所有的卡都占了,不让别人跑。
    后来我成为了机器管理者后 ...
    了解了。计算资源说是共有的,但真正分配起来还是很多问题,组里为了主力机经常产生摩擦。
    五六十台。我表示实名羡慕,要我的话会动脑筋看看能不能整合一下自己的几台。
    我关注您一下,共勉哈。
  • heji27天前
    引用55
    LZ,有测过七彩虹战斧的的长宽高吗,特别是长度,在官网看的参数是327MM,看图没有这么长啊。我最近想装ITX,不知道能不能把3090ti战斧放进A4H2O
  • chen100526天前
    引用56
    CAGD 发表于 2022-4-28 15:46
    六七年前,我们有个师兄,每次跑程序就把机器上所有的卡都占了,不让别人跑。
    后来我成为了机器管理者后 ...
    太壕了
  • 楼主JihadFenix26天前
    引用57
    heji 发表于 2022-4-28 16:53
    LZ,有测过七彩虹战斧的的长宽高吗,特别是长度,在官网看的参数是327MM,看图没有这么长啊。我最近想装ITX ...
    嗯 我用直尺量了下 是325 左右 这是从挡板外缘到卡的尾部。
  • huihuige26天前
    引用58
    原来是大佬
    失敬失敬~
  • 游客
    59
返回