我攒了一台双3090ti工作站
先贴张图
CPU 5900x——这个买的最早，还搭配x370太极用了一阵，感谢ass*rock[/滑稽]
主板 C8E——因为考虑攒机的时候这个和X570godlike是唯一两个支持4槽宽pcie布局的主板。EVGA倒是出了俩4槽的x570，可惜购买太麻烦了。outel12代板子线，华缩干脆只在apex和extreme上保留了sli，虽然一般人也用不到这个，还是不禁要提醒（吐槽）一下。
内存 海力士ecc udimm 3200hz 32g*4——真伪不明...选这个是参考了gaojie20@大佬的神贴：
https://www.chiphell.com/forum.p ... ertype=1&page=1
这篇知呼上也放了。当时拜读了好几遍，深受启发。在此致敬以下。
也曾一度想要搭个县撕普又平台，但是考虑现在GPU的功耗creep以及伴生的散热、供电等一堆麻烦，还是作罢。wrx80e也折价出掉了。主要还是没钱
机箱 bequiet silent802——箱子的装机体验还挺好，但并不是工作站向的设计。pcieIO口有7个，第一个对应的是主板的M.2直通位，所以实际供pcie扩展使用的只有六条。考虑到主板的4槽宽分布，则底部卡只能是2槽挡板。这也是为什么没有买俩映众X3（三槽挡板，没法改）的一个原因。战斧为两槽挡板。要是映众这卡也像影驰的星曜那样支持换挡板就好了。
这箱散热其实一般，双盖板设计比较噱头，我一直都用的透气组合。而且下方有电源仓和硬盘笼（需要机械盘，舍不得拆 ），风冷的话应该比不过FD torrent。
两张3090ti分别是七彩虹战斧和映众X3OC——这算是主菜吧：
首先这俩是在售风冷卡中仅有的俩三槽厚度60mm，外形也方方正正。手头还有一片屏蔽牌3090大雕，去年矿潮时组里采购的，品牌型号根本没得选，供应商有啥买啥，价格辣眼。此卡尺寸无比臃肿，3槽半70+mm厚，外壳还比nv桥插口要高一截，想上桥还得拆掉IO一侧，而且背面散热也是旗舰型号中较差的。基本断绝了scaling潜力，捏着鼻子买的。对比之下，60mm厚度下两90ti之间起码有了点呼吸空间，外加单面显存充分发挥了正面散热组件效能，温度表现好多了。一体水尺寸普遍更小，比如屏蔽的水雕只有40mm厚严格两槽，非常友好；但是多冷排的安置是个问题，另一方面我个人始终对水冷的稳定性和寿命持保留态度（cpu上的EK是另一个故事了）。何况价格也高10%。
然后说下nvlink。桥是海淘的evga。这一代消费级nv桥只有四槽宽的。专业产品线倒是有2，3槽的，pugetsystem也作了测试，无论是连接双3090还是安培pro系列，两种桥通用。只是价格差了1倍多。这代NVLINK3都是硬桥，所以对pcb尺寸和插头位置有严格要求，基本只能同款卡才能桥接。这次的3090ti很多都是公版或准公版pcb设计。映众X3OC的pcb拆解图早早曝光，但战斧到现在我还没有搜到pcb照片。不过一同发布的火神/水神的pcb网上能搜到，经坛佬BFG9k指点说此次七彩虹三卡pcb同设计。遂下单。上机之后确实插头兼容，可以顺利安装nvlink，系统内也识别。
不过nvlink对于pytorch真是玄学，粗测的几个模型里，只有一个DDP写的训练在有无桥时有差不多15%的差别，inference的基本没差。网上鲜有相关资料。
最后说下这两张卡好了：这两张3090ti首发价格都是14999，算是这一代光环产品中的平价型号。本体的做工都还好，不过有这样几点：
1 战斧的IO挡板缺少支撑，卡在自重作用下会下垂，我在io挡板和散热外框之间塞了硬纸片，相比之下映众因为是个三槽IO设计，其挡板和框体由分布更宽的螺丝接合，更稳固一点；
2 战斧没有防尘塞和金手指套，很节约环保（？？）；
3 战斧稍短一些，尾部的colorful标志是个红色呼吸灯，X3OC有环绕风扇的rgb，不过我是非侧透机箱，并不在意；
4 七彩虹3风扇（俩大一小）最大转速均为2800rpm，映众是3000，实际两者单卡使用时的温度表现差不多，默认风扇曲线下用aida烤鸡都是核心74度热点80度，手动风扇满转则68/73；值得注意的是两者都带风扇起停，但战斧起转的最低转速就是1500/1800，而映众则是900左右，测试时感觉映众整体上能安静一点；电源ax1600i，连了corsair link。双卡aida烤鸡，hwinfo64上电源栏读数最大功率1050w，风扇都调最大，主卡核心79副卡72，映众的核心频率比七彩虹高二三十，没敢跑太久；
5 两张都是新卡，拆包装时发现映众背板有一处磕碰，因为急用没有追究，不知是厂家的原因还是说买到了二手；
6 两者都支持个人送保，国内七彩虹售后口碑算是挺好的（点一下某星），映众看社交网络上的反馈也还可以就是有点作坊，不过保修结果基本都是好的，另外搜索‘映众保修’有很多结果都提到风扇故障要更换，不知道是不是这个牌子产品的通病。
组里僧多粥少，毕业压力山大。机器装好粗测了一下就开始跑训练了。俩卡都限制功率，简单实验了下：
双卡单位任务计算耗时：450w：350w：300w = 1：1.06 : 1.21 （基于我的实验，按照s/kimg指标的估算）
默认功耗下要快不少，但整体散热负担太重了。
其实还作了些其他测试，但没有系统整理。午休时间要结束了，也许等五一假期能抽空在做些测试，像是pytorch教程 或者lambda lab的benchmark啥的，还有nvlink对pytorch/tensorflow的意义。
谢谢观看
CPU 5900x——这个买的最早，还搭配x370太极用了一阵，感谢ass*rock[/滑稽]
主板 C8E——因为考虑攒机的时候这个和X570godlike是唯一两个支持4槽宽pcie布局的主板。EVGA倒是出了俩4槽的x570，可惜购买太麻烦了。outel12代板子线，华缩干脆只在apex和extreme上保留了sli，虽然一般人也用不到这个，还是不禁要提醒（吐槽）一下。
内存 海力士ecc udimm 3200hz 32g*4——真伪不明...选这个是参考了gaojie20@大佬的神贴：
https://www.chiphell.com/forum.p ... ertype=1&page=1
这篇知呼上也放了。当时拜读了好几遍，深受启发。在此致敬以下。
也曾一度想要搭个县撕普又平台，但是考虑现在GPU的功耗creep以及伴生的散热、供电等一堆麻烦，还是作罢。wrx80e也折价出掉了。主要还是没钱
机箱 bequiet silent802——箱子的装机体验还挺好，但并不是工作站向的设计。pcieIO口有7个，第一个对应的是主板的M.2直通位，所以实际供pcie扩展使用的只有六条。考虑到主板的4槽宽分布，则底部卡只能是2槽挡板。这也是为什么没有买俩映众X3（三槽挡板，没法改）的一个原因。战斧为两槽挡板。要是映众这卡也像影驰的星曜那样支持换挡板就好了。
这箱散热其实一般，双盖板设计比较噱头，我一直都用的透气组合。而且下方有电源仓和硬盘笼（需要机械盘，舍不得拆 ），风冷的话应该比不过FD torrent。
两张3090ti分别是七彩虹战斧和映众X3OC——这算是主菜吧：
首先这俩是在售风冷卡中仅有的俩三槽厚度60mm，外形也方方正正。手头还有一片屏蔽牌3090大雕，去年矿潮时组里采购的，品牌型号根本没得选，供应商有啥买啥，价格辣眼。此卡尺寸无比臃肿，3槽半70+mm厚，外壳还比nv桥插口要高一截，想上桥还得拆掉IO一侧，而且背面散热也是旗舰型号中较差的。基本断绝了scaling潜力，捏着鼻子买的。对比之下，60mm厚度下两90ti之间起码有了点呼吸空间，外加单面显存充分发挥了正面散热组件效能，温度表现好多了。一体水尺寸普遍更小，比如屏蔽的水雕只有40mm厚严格两槽，非常友好；但是多冷排的安置是个问题，另一方面我个人始终对水冷的稳定性和寿命持保留态度（cpu上的EK是另一个故事了）。何况价格也高10%。
然后说下nvlink。桥是海淘的evga。这一代消费级nv桥只有四槽宽的。专业产品线倒是有2，3槽的，pugetsystem也作了测试，无论是连接双3090还是安培pro系列，两种桥通用。只是价格差了1倍多。这代NVLINK3都是硬桥，所以对pcb尺寸和插头位置有严格要求，基本只能同款卡才能桥接。这次的3090ti很多都是公版或准公版pcb设计。映众X3OC的pcb拆解图早早曝光，但战斧到现在我还没有搜到pcb照片。不过一同发布的火神/水神的pcb网上能搜到，经坛佬BFG9k指点说此次七彩虹三卡pcb同设计。遂下单。上机之后确实插头兼容，可以顺利安装nvlink，系统内也识别。
不过nvlink对于pytorch真是玄学，粗测的几个模型里，只有一个DDP写的训练在有无桥时有差不多15%的差别，inference的基本没差。网上鲜有相关资料。
最后说下这两张卡好了：这两张3090ti首发价格都是14999，算是这一代光环产品中的平价型号。本体的做工都还好，不过有这样几点：
1 战斧的IO挡板缺少支撑，卡在自重作用下会下垂，我在io挡板和散热外框之间塞了硬纸片，相比之下映众因为是个三槽IO设计，其挡板和框体由分布更宽的螺丝接合，更稳固一点；
2 战斧没有防尘塞和金手指套，很节约环保（？？）；
3 战斧稍短一些，尾部的colorful标志是个红色呼吸灯，X3OC有环绕风扇的rgb，不过我是非侧透机箱，并不在意；
4 七彩虹3风扇（俩大一小）最大转速均为2800rpm，映众是3000，实际两者单卡使用时的温度表现差不多，默认风扇曲线下用aida烤鸡都是核心74度热点80度，手动风扇满转则68/73；值得注意的是两者都带风扇起停，但战斧起转的最低转速就是1500/1800，而映众则是900左右，测试时感觉映众整体上能安静一点；电源ax1600i，连了corsair link。双卡aida烤鸡，hwinfo64上电源栏读数最大功率1050w，风扇都调最大，主卡核心79副卡72，映众的核心频率比七彩虹高二三十，没敢跑太久；
5 两张都是新卡，拆包装时发现映众背板有一处磕碰，因为急用没有追究，不知是厂家的原因还是说买到了二手；
6 两者都支持个人送保，国内七彩虹售后口碑算是挺好的（点一下某星），映众看社交网络上的反馈也还可以就是有点作坊，不过保修结果基本都是好的，另外搜索‘映众保修’有很多结果都提到风扇故障要更换，不知道是不是这个牌子产品的通病。
组里僧多粥少，毕业压力山大。机器装好粗测了一下就开始跑训练了。俩卡都限制功率，简单实验了下：
双卡单位任务计算耗时：450w：350w：300w = 1：1.06 : 1.21 （基于我的实验，按照s/kimg指标的估算）
默认功耗下要快不少，但整体散热负担太重了。
其实还作了些其他测试，但没有系统整理。午休时间要结束了，也许等五一假期能抽空在做些测试，像是pytorch教程 或者lambda lab的benchmark啥的，还有nvlink对pytorch/tensorflow的意义。
谢谢观看
最新回复 (57)
yaoiverson28天前引用2楼
Epimetheus_Tea28天前引用3楼
shadoweyre28天前引用6楼
- 引用14楼
- 引用16楼
- 引用17楼
- 引用18楼
- 引用19楼
- 引用22楼
jintianbusha27天前引用26楼- shadoweyre27天前引用27楼
- 引用29楼
- 引用30楼
chh-carter27天前引用31楼- 引用32楼
- 引用33楼
- 引用34楼
- 引用37楼
- 引用38楼
- 引用39楼
- 引用43楼
- 引用44楼
- 引用47楼
- 总之，AMD平台多GPU炼丹的时候，硬件不兼容的bug会遇到的多一些。当然，没遇到最好，不同的代码，是有差异的。
JihadFenix 发表于 2022-4-27 23:08
目前为止我没遇到过这个bug。而DP和DDP我总用，尤其这半年。还有amd效率不如Intel这一点，有reference吗 ...
我说的多卡跑pytorch出bug的代码，举例：https://github.com/tiangexiang/CurveNet。我测试的配置是3700X+RTX TITAN * 2，这样配置的机器我有两台，都会死锁。
"必须得买三风扇的非公版"，是因为机房都被申请没了，我们买的所有机器只能放在办公室用，自然是不能买声音大的配置，比如涡轮卡或服务器暴力扇这种。
只能买可调节风扇转速的塔式机箱，放在自己办公桌旁边用。为了照顾所有人的办公体验，大家全部都买双卡机，卡都是三风扇非公版，这样跑起来静音。
比如我手里的八台机器，全都是双1080Ti、双2080Ti、双RTX TITAN。机器整体噪音，只比办公机略大。
扩展性，我们有认真思考过，目前还玩不起。自建无尘机房，几十万。机房可以放得下几十台服务器，买机器都是8卡3090，买满整个机房，要再花上千万。 
LightningWu27天前引用49楼- 引用51楼
- 引用54楼
- 引用57楼
游客59楼
发新帖
精彩推荐
- V2EX请问这种像 uml 一样的 ASCII 图解是怎么画出来的，有什么好用的本地工具吗
- V2EX群晖组存储池， SHR/SHR2 相比 RAID5/6 有什么劣势？获得灵活性，那么代价是什么？
- 全球主机交流关于cf cname，这帖子值200大洋
- 全球主机交流我最近在学习开锁技术，但我发现
- 耳机大家坛进化耳机？VGP金赏中你最特别，宁梵NF Audio NE4 Evolution
- 全球主机交流额，workspace被google封禁了
- V2EXPowershell 和 cmd 有什么区别？
- V2EX把小时候玩的魂斗罗，做成网页版，并且可以双人联机，会有人玩这个么
- V2EXgo 语言如何关闭正在运行的协程？谢谢
- V2EX使用 rollup.js 模块化编写 GM 脚本
- 耳机大家坛关于dt770pro 80欧升级德国大师gmp450pro
- 耳机大家坛非常好听啊！