1、安装前准备工作确认GPU型号和操作系统版本准备gpu驱动和CUDA软件包在nvidia官网进行驱动包下载2、下载对应的显卡驱动CUDA驱动等安装包GPU驱动下载链接CUDA下载链接选择合适的操作系统版本进行下载。Linux系统均选择 Linux 64-bit、CUDA Toolkit选择对应版本注意该版本一定要大于等于cuda软件的版本。选择CUDA及GPU驱动版本需同时考虑与客户程序的兼容性问题。CUDA 12.0 建议搭配CUDA CUDA toolkit 12.0版本的GPU驱动3、检查服务器GPU识别情况安装GPU驱动之前需要在操作系统下查看GPU卡是否能够完全识别,如不能识别需要进行重新插拔、对调测试 步骤进行硬件排查确保可以查看到所有的GPUlspci|grep-i nvidia4、显卡驱动和CUDA卸载方法显卡驱动卸载方法/usr/bin/nvidia-uninstallCUDA卸载方法/usr/local/cuda-X.Y/bin/cuda-uninstaller老版本CUDA卸载方法/usr/local/cuda-X.Y/bin/uninstall_cuda_X.Y.pl5、安装显卡驱动和必要的插件5-1、安装gcc、g编译器GPU驱动安装时需要gcc编译器。cuda安装samples测试程序进行make时需要g但安装cuda软件包时不需要。CentOS 7检查版本gcc-vg-v软件包安装安装GCC、GCC-C时建议挂载本地yum源来挂载yum install gccyum install gcc-cSUSE检查版本gcc-vg-v软件包安装zypperingcczypperingcc-cUbuntu检查版本gcc-vg-v软件包安装apt install gccapt install gapt install make软件包检查dpkg-l gccdpkg-l gdpkg-l make5-2、安装kernel-devel和kernel-headers软件包CentOS 7安装kernel、kernel-devel、kernel-header时建议挂载本地yum源来挂载yum install kernel-devel-$(uname-r)kernel-headers-$(uname-r)UbuntuUbuntu可以不安装也可以从阿里镜像站或网易镜像站下载需注意内核版本。SUSEzypper install kernel-source-$(uname-r)只安装这一个即可zypper install kernel-default-devel-$(uname-r)5-3、禁用系统自带的nouveau模块**检查nouveau模块是否加载已加载则先禁用lsmod|grep nouveauCentOS 7没有blacklist-nouveau.conf文件则创建vim/usr/lib/modprobe.d/blacklist-nouveau.conf添加内容如下blacklist nouveau options nouveau modeset0执行如下命令使内核生效dracut-force需要重启服务器后才可真正禁用nouveauUbuntuvim/etc/modprobe.d/blacklist.conf在文本最后添加以下内容blacklist nouveau options nouveau modeset0保存退出执行以下命令生效update-initramfs-u重启操作系统5-4、修改系统运行级别为文本模式GPU驱动安装必须在文本模式下进行CentOS 7systemctl set-defaultmulti-user.targetUbuntusystemctl stop lightdm systemctl set-defaultmulti-user.target也可以不执行此命令ctrlaltF1 切换到其他字符终端窗口F7为图形中断窗口或者init 3SUSEvim/etc/inittab修改id:5:initdefault:为id:3:initdefault:重启系统后,使禁用nouveau模块配置生效并进入文本模式5-5、GPU驱动安装(1)、root用户下进行GPU驱动赋予驱动包安装权限chmodxNVIDIA-xxx.run(2)、root用户下进行GPU驱动./NVIDIA-Linux-x86_64-x.y.run--no-opengl-files可选参数--no-opengl-files表示只安装驱动文件不安装OpenGL文件。这个参数不可省略否则会导致登陆界面死循环英语一般称为”login loop”或者”stuck in login”。适用于图形化界面安装显示显卡的情况若选择此参数可以理解为将该显卡当成运算卡来用--no-x-check表示安装驱动时不检查X服务非必需。不调整为文本模式适用--no-nouveau-check表示安装驱动时不检查nouveau非必需。没有执行上面的nouveau禁用5-6、GPU驱动设置内存常驻模式CentOS 71、配置GPU驱动内存常驻模式使得GPU驱动模式设置为常驻内存nvidia-smi-pm12、设置开机自启动vim/etc/rc.d/rc.local在文件中添加一行nvidia-smi-pm14、赋予/etc/rc.d/rc.local文件可执行权限chmodx/etc/rc.d/rc.local若无/etc/rc.d/rc.local也可修改/etc/rc.localvim/etc/rc.localchmodx/etc/rc.localUbuntu下面的操作只适合Ubuntu18.04也可以参考此文档1、创建文件vim/etc/systemd/system/rc-local.service2、将下面的文字复制里面[Unit]Description/etc/rc.local Compatibility ConditionPathExists/etc/rc.local[Service]Typeforking ExecStart/etc/rc.local start TimeoutSec0StandardOutputtty RemainAfterExityes SysVStartPriority99[Install]WantedBymulti-user.target上面的操作只适用于Ubuntu 18.04下面的操作适用于全部的Ubuntu版本1、创建文件vim/etc/rc.local2、在文本中写入#!/bin/sh -envidia-smi-pm1exit03、赋予可执行权限chmodx/etc/rc.local4、启动服务并设置服务开机自启动systemctl enable rc-local.servicesystemctl start rc-local.servicesystemctl status rc-local.service6、重启系统后验证SUSEvim/etc/init.d/after.local没有就新建nvidia-smi-pm1chmodx/etc/init.d/after.local安装完GPU驱动后可以使用nvidia-smi命令进行GPU状态查看及相关配置。nvidia-smi6、安装CUDA安装CUDA之前要先确定一下CUDA的版本最高支持到多大此处是12.4证明是最大支持的CUDA版本为12.4可以装低版本的尽量不要安装比12.4高的CUDA。具体的可以去官网进行查询nvidia-smi安装CUDA链接可以在这里根据官网的操作wget下载完成然后sh直接安装若机器禁止连外网也可以复制后面的链接在别的笔记本电脑上下载一下该驱动然后上传到机器上并sh进行安装执行完sh后会没有任何反馈这个是正常的我们稍作片刻等待弹出此界面后输入accept即可因为前面已经安装了显卡驱动了需要取消Driver前面的X然后只安装CUDA相关参数最后选择Install进行安装。安装完后会有日志提示安装成功7、配置CUDA环境变量接着我们需要添加CUDA的环境变量vim~/.bashrc在环境变量末尾加入该命令具体cuda版本视情况而改变exportPATH/usr/local/cuda-X.Y/bin:$PATHexportLD_LIBRARY_PATH/usr/local/cuda-X.Y/lib64:$LD_LIBRARY_PATHexportCUDA_HOME/usr/local/cuda编译一下环境变量source~/.bashrc至此我们安装cuda成功可以通过以下命令查看cuda信息查看CUDA版本信息nvcc--versionnvcc-V8、压力测试压力测试请软件请自行下载也可联系作者要百度网盘链接将文件进行解压tar-zxvf gpu-burn-master.tar.gz进入gpu-burn-master文件夹内执行make进行gpu-burn文件进行压力测试./gpu_burn 秒数这个只能用cuda版本为12.9以下的版本如果版本为13.0以上的版本需要进行文本编译Makefile将前4行ifneq($(wildcard /usr/bin/nvcc),)CUDAPATH?/usrelseifneq($(wildcard /usr/local/cuda/bin/nvcc),)CUDAPATH?/usr/local/cuda endif调整为ifneq($(wildcard /usr/local/cuda/bin/nvcc),)CUDAPATH?/usr/local/cudaelseifneq($(wildcard /usr/bin/nvcc),)CUDAPATH?/usr endif先去检测/usr/local/cuda/bin/nvcc中是否有cuda版本如果没有再去/usr中去检测修改第27行和28行的数值将COMPUTE?70CUDA_VERSION?13.2.0COMPUTE 数值查询方式参考值GPU系列性能值V100COMPUTE 70T4COMPUTE 75A100COMPUTE 80RTX 30xxCOMPUTE 86RTX 40xxCOMPUTE 89H100COMPUTE 90查询方法nvidia-smi--query-gpuname,compute_cap--formatcsv此处查询的数值为7.0则COMPUTE ? 70CUDA_VERSION填写的版本为实际安装的cuda版本该版本为修改好的版本直接可以兼容cuda13.0以上的版本之前版本仅能兼容12.9及以下的版本新建一个窗口实时观察显卡状态 GPU驱动及CUDA安装流程介绍
1、安装前准备工作确认GPU型号和操作系统版本准备gpu驱动和CUDA软件包在nvidia官网进行驱动包下载2、下载对应的显卡驱动CUDA驱动等安装包GPU驱动下载链接CUDA下载链接选择合适的操作系统版本进行下载。Linux系统均选择 Linux 64-bit、CUDA Toolkit选择对应版本注意该版本一定要大于等于cuda软件的版本。选择CUDA及GPU驱动版本需同时考虑与客户程序的兼容性问题。CUDA 12.0 建议搭配CUDA CUDA toolkit 12.0版本的GPU驱动3、检查服务器GPU识别情况安装GPU驱动之前需要在操作系统下查看GPU卡是否能够完全识别,如不能识别需要进行重新插拔、对调测试 步骤进行硬件排查确保可以查看到所有的GPUlspci|grep-i nvidia4、显卡驱动和CUDA卸载方法显卡驱动卸载方法/usr/bin/nvidia-uninstallCUDA卸载方法/usr/local/cuda-X.Y/bin/cuda-uninstaller老版本CUDA卸载方法/usr/local/cuda-X.Y/bin/uninstall_cuda_X.Y.pl5、安装显卡驱动和必要的插件5-1、安装gcc、g编译器GPU驱动安装时需要gcc编译器。cuda安装samples测试程序进行make时需要g但安装cuda软件包时不需要。CentOS 7检查版本gcc-vg-v软件包安装安装GCC、GCC-C时建议挂载本地yum源来挂载yum install gccyum install gcc-cSUSE检查版本gcc-vg-v软件包安装zypperingcczypperingcc-cUbuntu检查版本gcc-vg-v软件包安装apt install gccapt install gapt install make软件包检查dpkg-l gccdpkg-l gdpkg-l make5-2、安装kernel-devel和kernel-headers软件包CentOS 7安装kernel、kernel-devel、kernel-header时建议挂载本地yum源来挂载yum install kernel-devel-$(uname-r)kernel-headers-$(uname-r)UbuntuUbuntu可以不安装也可以从阿里镜像站或网易镜像站下载需注意内核版本。SUSEzypper install kernel-source-$(uname-r)只安装这一个即可zypper install kernel-default-devel-$(uname-r)5-3、禁用系统自带的nouveau模块**检查nouveau模块是否加载已加载则先禁用lsmod|grep nouveauCentOS 7没有blacklist-nouveau.conf文件则创建vim/usr/lib/modprobe.d/blacklist-nouveau.conf添加内容如下blacklist nouveau options nouveau modeset0执行如下命令使内核生效dracut-force需要重启服务器后才可真正禁用nouveauUbuntuvim/etc/modprobe.d/blacklist.conf在文本最后添加以下内容blacklist nouveau options nouveau modeset0保存退出执行以下命令生效update-initramfs-u重启操作系统5-4、修改系统运行级别为文本模式GPU驱动安装必须在文本模式下进行CentOS 7systemctl set-defaultmulti-user.targetUbuntusystemctl stop lightdm systemctl set-defaultmulti-user.target也可以不执行此命令ctrlaltF1 切换到其他字符终端窗口F7为图形中断窗口或者init 3SUSEvim/etc/inittab修改id:5:initdefault:为id:3:initdefault:重启系统后,使禁用nouveau模块配置生效并进入文本模式5-5、GPU驱动安装(1)、root用户下进行GPU驱动赋予驱动包安装权限chmodxNVIDIA-xxx.run(2)、root用户下进行GPU驱动./NVIDIA-Linux-x86_64-x.y.run--no-opengl-files可选参数--no-opengl-files表示只安装驱动文件不安装OpenGL文件。这个参数不可省略否则会导致登陆界面死循环英语一般称为”login loop”或者”stuck in login”。适用于图形化界面安装显示显卡的情况若选择此参数可以理解为将该显卡当成运算卡来用--no-x-check表示安装驱动时不检查X服务非必需。不调整为文本模式适用--no-nouveau-check表示安装驱动时不检查nouveau非必需。没有执行上面的nouveau禁用5-6、GPU驱动设置内存常驻模式CentOS 71、配置GPU驱动内存常驻模式使得GPU驱动模式设置为常驻内存nvidia-smi-pm12、设置开机自启动vim/etc/rc.d/rc.local在文件中添加一行nvidia-smi-pm14、赋予/etc/rc.d/rc.local文件可执行权限chmodx/etc/rc.d/rc.local若无/etc/rc.d/rc.local也可修改/etc/rc.localvim/etc/rc.localchmodx/etc/rc.localUbuntu下面的操作只适合Ubuntu18.04也可以参考此文档1、创建文件vim/etc/systemd/system/rc-local.service2、将下面的文字复制里面[Unit]Description/etc/rc.local Compatibility ConditionPathExists/etc/rc.local[Service]Typeforking ExecStart/etc/rc.local start TimeoutSec0StandardOutputtty RemainAfterExityes SysVStartPriority99[Install]WantedBymulti-user.target上面的操作只适用于Ubuntu 18.04下面的操作适用于全部的Ubuntu版本1、创建文件vim/etc/rc.local2、在文本中写入#!/bin/sh -envidia-smi-pm1exit03、赋予可执行权限chmodx/etc/rc.local4、启动服务并设置服务开机自启动systemctl enable rc-local.servicesystemctl start rc-local.servicesystemctl status rc-local.service6、重启系统后验证SUSEvim/etc/init.d/after.local没有就新建nvidia-smi-pm1chmodx/etc/init.d/after.local安装完GPU驱动后可以使用nvidia-smi命令进行GPU状态查看及相关配置。nvidia-smi6、安装CUDA安装CUDA之前要先确定一下CUDA的版本最高支持到多大此处是12.4证明是最大支持的CUDA版本为12.4可以装低版本的尽量不要安装比12.4高的CUDA。具体的可以去官网进行查询nvidia-smi安装CUDA链接可以在这里根据官网的操作wget下载完成然后sh直接安装若机器禁止连外网也可以复制后面的链接在别的笔记本电脑上下载一下该驱动然后上传到机器上并sh进行安装执行完sh后会没有任何反馈这个是正常的我们稍作片刻等待弹出此界面后输入accept即可因为前面已经安装了显卡驱动了需要取消Driver前面的X然后只安装CUDA相关参数最后选择Install进行安装。安装完后会有日志提示安装成功7、配置CUDA环境变量接着我们需要添加CUDA的环境变量vim~/.bashrc在环境变量末尾加入该命令具体cuda版本视情况而改变exportPATH/usr/local/cuda-X.Y/bin:$PATHexportLD_LIBRARY_PATH/usr/local/cuda-X.Y/lib64:$LD_LIBRARY_PATHexportCUDA_HOME/usr/local/cuda编译一下环境变量source~/.bashrc至此我们安装cuda成功可以通过以下命令查看cuda信息查看CUDA版本信息nvcc--versionnvcc-V8、压力测试压力测试请软件请自行下载也可联系作者要百度网盘链接将文件进行解压tar-zxvf gpu-burn-master.tar.gz进入gpu-burn-master文件夹内执行make进行gpu-burn文件进行压力测试./gpu_burn 秒数这个只能用cuda版本为12.9以下的版本如果版本为13.0以上的版本需要进行文本编译Makefile将前4行ifneq($(wildcard /usr/bin/nvcc),)CUDAPATH?/usrelseifneq($(wildcard /usr/local/cuda/bin/nvcc),)CUDAPATH?/usr/local/cuda endif调整为ifneq($(wildcard /usr/local/cuda/bin/nvcc),)CUDAPATH?/usr/local/cudaelseifneq($(wildcard /usr/bin/nvcc),)CUDAPATH?/usr endif先去检测/usr/local/cuda/bin/nvcc中是否有cuda版本如果没有再去/usr中去检测修改第27行和28行的数值将COMPUTE?70CUDA_VERSION?13.2.0COMPUTE 数值查询方式参考值GPU系列性能值V100COMPUTE 70T4COMPUTE 75A100COMPUTE 80RTX 30xxCOMPUTE 86RTX 40xxCOMPUTE 89H100COMPUTE 90查询方法nvidia-smi--query-gpuname,compute_cap--formatcsv此处查询的数值为7.0则COMPUTE ? 70CUDA_VERSION填写的版本为实际安装的cuda版本该版本为修改好的版本直接可以兼容cuda13.0以上的版本之前版本仅能兼容12.9及以下的版本新建一个窗口实时观察显卡状态