深度学习主机(如何配置一台深度学习主机)

大家好，今天来为大家分享深度学习主机的一些知识点，和如何配置一台深度学习主机的问题解析，大家要是都明白，那么可以忽略，如果不太清楚的话可以看看本篇文章，相信很大概率可以解决您的问题，接下来我们就一起来看看吧！

台式游戏主机和深度学习机的区别

区别是配置要求不同。

1、台式游戏主机需要较高的显卡性能来支持游戏的高画质、高分辨率显示，需要足够的内存来支持游戏运行，需要快速的硬盘来缩短游戏加载时间。

2、深度学习机的计算需求是非常高的，通常需要使用高端的GPU，可以同时实现高速运算和并行计算，因此需要更高的计算能力和更多的内存和存储空间。

如何配置一台深度学习主机

搞AI，谁又能没有“GPU之惑”？下面列出了一些适合进行深度学习模型训练的GPU，并将它们进行了横向比较，一起来看看吧！

CPU与GPU对比

CPU是一个有多种功能的优秀领导者。它的优点在于调度、管理、协调能力强，计算能力则位于其次。而GPU相当于一个接受CPU调度的“拥有大量计算能力”的员工。

下图是处理器内部结构图：

DRAM即动态随机存取存储器，是常见的系统内存。

Cache存储器：电脑中作为高速缓冲存储器，是位于CPU和主存储器DRAM之间，规模较小，但速度很高的存储器。

算术逻辑单元ALU是能实现多组算术运算和逻辑运算的组合逻辑电路。

当需要对大数据bigdata做同样的事情时，GPU更合适，当需要对同一数据做很多事情时，CPU正好合适。

GPU能做什么？关于图形方面的以及大型矩阵运算，如机器学习算法等方面，GPU就能大显身手。

简而言之，CPU擅长统领全局等复杂操作，GPU擅长对大数据进行简单重复操作。CPU是从事复杂脑力劳动的教授，而GPU是进行大量并行计算的体力劳动者。

深度学习是模拟人脑神经系统而建立的数学网络模型，这个模型的最大特点是，需要大数据来训练。因此，对电脑处理器的要求，就是需要大量的并行的重复计算，GPU正好有这个专长，时势造英雄，因此，GPU就出山担当重任了。

太长不看版

截至2020年2月，以下GPU可以训练所有当今语言和图像模型：

以下GPU可以训练大多数（但不是全部）模型：RTX 2080 Ti：11GB VRAM，约1150美元GTX 1080 Ti：11GB VRAM，返厂翻新机约800美元RTX 2080：8GB VRAM，约720美元RTX 2070：8GB VRAM，约500美元

以下GPU不适合用于训练现在模型：RTX 2060：6GB VRAM，约359美元。

在这个GPU上进行训练需要相对较小的batch size，模型的分布近似会受到影响，从而模型精度可能会较低。

GPU购买建议

RTX 2060（6 GB）：你想在业余时间探索深度学习。RTX 2070或2080（8 GB）：你在认真研究深度学习，但GPU预算只有600-800美元。8 GB的VRAM适用于大多数模型。RTX 2080 Ti（11 GB）：你在认真研究深度学习并且您的GPU预算约为1,200美元。RTX 2080 Ti比RTX 2080快大约40％。Titan RTX和Quadro RTX 6000（24 GB）：你正在广泛使用现代模型，但却没有足够买下RTX 8000的预算。Quadro RTX 8000（48 GB）：你要么是想投资未来，要么是在研究2020年最新最酷炫的模型。NV TESLA V100（32GB）：如果你需要在NVIDIA数据中心使用CUDA，那么TESLA就是必选品了。图像模型

内存不足之前的最大批处理大小：*表示GPU没有足够的内存来运行模型。

性能（以每秒处理的图像为单位）：*表示GPU没有足够的内存来运行模型。

语言模型

内存不足之前的最大批处理大小：*表示GPU没有足够的内存来运行模型。

性能：* GPU没有足够的内存来运行模型。

使用Quadro RTX 8000结果进行标准化后的表现

图像模型

语言模型

结论

语言模型比图像模型受益于更大的GPU内存。注意右图的曲线比左图更陡。这表明语言模型受内存大小限制更大，而图像模型受计算力限制更大。具有较大VRAM的GPU具有更好的性能，因为使用较大的批处理大小有助于使CUDA内核饱和。具有更高VRAM的GPU可按比例实现更大的批处理大小。只懂小学数学的人都知道这很合理：拥有24 GB VRAM的GPU可以比具有8 GB VRAM的GPU容纳3倍大的批次。比起其他模型来说，长序列语言模型不成比例地占用大量的内存，因为注意力（attention）是序列长度的二次项。

附注：测试模型

图像模型：

语言模型：

云轩Cloudhin专注Deep learning和高性能计算服务器定制，针对主要深度学习框架（如TensorFlow、Caffe 2、Theano或Torch）进行了优化和设置，在桌面上即可提供强大的深度学习功能。

请点击输入图片描述

请点击输入图片描述

深度学习 对硬件的要求

主要是看运行什么软件和数据量，训练数值大小，这里要强调一下，数值大小和数据量是不一样的。

深度学习服务器的核心部件还是CPU、硬盘、内存、GPU，特别是很多深度学习依靠GPU的大规模数据处理能力，这就要强调CPU的计算能力和数量，同时不同的数据对GPU的显存要求也不一样。

当下大部分都在用RTX3090做深度学习，最新RTX4090已经上市，单精度计算能力是RTX3090的2倍，这两个GPU都是24G显存；像A100强调双精度计算能力，显存有40G和80G两个版本，而A6000单精度计算能和RTX3090差不多，显存是48G，可以参考选择。

当然，最重要的还是口袋里的银子，A6000市场价大概是RTX的2倍还要多，A100最近更是要上十万了，估计也快买不到了，价高缺货；RTX3090/4090的价位低，性价比高，这也是为什么大部分人都选择它们做深度学习了，这是市场的选择。

如何配置一台适用于深度学习的工作站

学习机器学习相关的算法和演练流行的平台或框架，不需要特别强大的设备。所以对深度学习而言，基本的需求则是：内存大于:8G一片以上带CUDA单元的显卡。操作系统：win7/8/10/ubuntu/OSX皆可这对大多数人来说都不难，如果手上的电脑没超过五年，简单的升级一下自己手上的电脑即可。一般就三步：

1.加显卡: 1050ti 4G<省钱，入门>，1070ti<性价比最高，价格还不错>，高端可选1080ti。勿买3G显存版本，好多CNN的sample都跑不起来。买个大厂的公版即可，没必要买那些超频的版本。

2.加内存:买来插上即可/当然，有个SSD硬盘效果更佳。

3.换电源：单显卡>400W，双显卡>700W。基本来说这样就足够了。最近intel的新处理器8xxx出来了，ryzen1700和i7 8700价格和性能都差不多的情况下,还是首选intel的吧.对于3-8卡的场景，大多不缺钱，价格似乎也不要紧。省钱的攻略内容不适用，有钱的随意即可。

关于深度学习主机，如何配置一台深度学习主机的介绍到此结束，希望对大家有所帮助。