AI算力服务器使用体验

各位读者好最近我有幸接触到一台专业算力服务器这是机器详细规格https://www.supermicro.org.cn/zh_cn/products/system/4U/4028/SYS-4028GR-TVRT.php在和大家分享一下使用感受前先介绍一下显卡和GPU相关的基本知识显卡/GPU上图是一张普通消费级显卡这种卡将含芯片GPU、显存、风扇组合在一张电路板上最初负责显示因此也叫显卡这张卡使用的接口叫做PCI-E或PCIe接口。而专业的计算卡形态与普通显卡完全不同下面是英伟达Tesla V100计算卡的照片这种卡使用的接口叫做SXM接口例如V100使用的是SXM2接口。PCIe接口和SXM接口接口最大的差异在数据传输速度带宽上。例如目前主流的PCIe 4.0 x16接口双向带宽约为63 GB/s最新的PCIe 5.0 x16接口双向最高带宽约为126 GB/s。而SXM2接口双向最高带宽约为300 GB/sH200使用的SXM5接口双向最高带宽约为900 GB/s。高带宽带来的优势是大模型训练/推理速度的加速。因为单张卡GPU无法装下大模型所以大模型的训练/推理需要将模型加载到多张卡里多GPU协同计算。考虑到模型参数都是十亿甚至万亿级别训练时GPU之间需要交换的数据量远超PCIe接口的传输能力。因此类似SXM这样的接口对于大模型的训练非常重要。使用感受接下来说说使用感受一是噪音大。普通PC一般用的都是静音风扇算力服务器使用的是超高转速的“暴力风扇”多个风扇同时工作的噪音类似装修时用冲击钻打墙的声音穿透力非常强……通常需要安放在机房才好。二是难上手。我之前安装过很多次操作系统和显卡驱动基本上在普通PC上不会遇到什么问题。但在服务器上按同样方法装系统各种奇怪的问题都出现了……例如用ubuntu25最新版英伟达驱动在V100 pcie工作站上一切正常但上了服务器以后立刻白屏……最后我用各大头部模型轮番上阵费了老大劲才装好系统和驱动。我感觉也许和这个服务器款式比较老有关系如果可能尽量从比较新款的服务器上手。三是机器重。我接触的这台服务器的重量大概在50公斤在8卡机器里还算轻的……搬运这种机器需要2位大力士同时操作一个人基本搬不动……四是接口少。硬件兼容性差。这台机器只有2个usb口插上键盘鼠标都没法插u盘。。我把在其它机器上正常工作的usb hub和独立显卡装过来都不行出现各种奇怪的问题。。当然专业的组织会从网络安装/操作服务器各位专家们请忽略此条……最后就是这种服务器的能力普通PC无法相比可以训练/全参微调6B的模型。这些是我目前的使用体验供大家参考。*本文部分图片来自于网络如认为侵权请联系我删除。