显卡性能排行榜 2023年显卡性价比推荐(3)

显卡性能排行榜

图4：低精度深度学习8位数据类型。深度学习训练得益于高度专业化的数据类型

目前，如果你想用16位浮点数（FP16）进行稳定的反向传播，最大的问题是普通FP16数据类型只支持[-65,504, 65,504]范围内的数字。如果你的梯度滑过这个范围，你的梯度就会爆炸成NaN值。

为了防止在FP16训练中出现这种情况，我们通常会进行损失缩放，即在反向传播之前将损失乘以一个小数字，以防止这种梯度爆炸。

Brain Float 16格式（BF16）对指数使用了更多的比特，这样可能的数字范围与FP32相同，BF16的精度较低，也就是有效数字，但梯度精度对学习来说并不那么重要。

所以BF16所做的是，你不再需要做任何损失缩放，也不需要担心梯度会迅速爆炸。因此，我们应该看到，通过使用BF16格式，训练的稳定性有所提高，因为精度略有损失。

这对你意味着什么。使用BF16精度，训练可能比使用FP16精度更稳定，同时提供相同的速度提升。使用TF32精度，你可以得到接近FP32的稳定性，同时提供接近FP16的速度提升。

好的是，要使用这些数据类型，你只需用TF32取代FP32，用BF16取代FP16–不需要修改代码。

不过总的来说，这些新的数据类型可以被看作是懒惰的数据类型，因为你可以通过一些额外的编程努力（适当的损失缩放、初始化、规范化、使用Apex）来获得旧数据类型的所有好处。

因此，这些数据类型并没有提供速度，而是改善了训练中低精度的使用便利性。

风扇设计和GPU温度

虽然RTX 30系列的新风扇设计在冷却GPU方面表现非常好，但非创始版GPU的不同风扇设计可能会出现更多问题。

如果你的GPU发热超过80C，它就会自我节流，减慢其计算速度/功率。解决这个问题的办法是使用PCIe扩展器，在GPU之间创造空间。

用PCIe扩展器分散GPU对散热非常有效，华盛顿大学的其他博士生和我都使用这种设置，并取得了巨大的成功。它看起来并不漂亮，但它能使你的GPU保持凉爽!

下面这套系统已经运行了4年，完全没有问题。如果你没有足够的空间在PCIe插槽中安装所有的GPU，也可以这么用。

图5: 带PCIE扩展口的4显卡系统，看起来一团乱，但散热效率很高。

优雅地解决功耗限制问题

在你的GPU上设置一个功率限制是可能的。因此，你将能够以编程方式将RTX 3090的功率限制设置为300W，而不是其标准的350W。在4个GPU系统中，这相当于节省了200W，这可能刚好足够用1600W PSU建立一个4x RTX 3090系统的可行性。

这还有助于保持GPU的冷却。因此，设置功率限制可以同时解决4x RTX 3080或4x RTX 3090设置的两个主要问题，冷却和电源。对于4倍的设置，你仍然需要高效散热风扇的 GPU，但这解决了电源的问题。

图6：降低功率限制有轻微的冷却效果。将RTX 2080 Ti的功率限制降低50-60W，温度略有下降，风扇运行更加安静

你可能会问，「这不会降低GPU的速度吗？」 是的，确实会降，但问题是降了多少。

我对图5所示的4x RTX 2080 Ti系统在不同功率限制下进行了基准测试。我对推理过程中BERT Large的500个小批次的时间进行了基准测试（不包括softmax层）。选择BERT Large推理，对GPU的压力最大。