GPU：NVIDIA GeFOrce GTX 1050
关键词：深度学习、YOLOv5、TensorRT、C++推演
下载CUDA
1.确定适配本机显卡驱动的CUDA版本
系统搜索打开NVIDIA控制面板，点击帮助，选择系统信息->组件，找到CUDA字样。此处我的CUDA适配版本为12.0。
2.下载对应版本的CUDA
3.安装CUDA
点击下载的安装exe文件，可以更改文件安装位置，记住文件安装位置。此处我的安装位置是G:\NVIDIA_GPU_Computing_Toolkit_CUDA_v12.0。
下载cuDNN包
1.选择适配CUDA的版本下载对应的cuDNN包
2.选择合适的位置解压cuDNN压缩包
3.复制文件
cuDNN属于是CUDA的一个补丁包，因此无需安装。需要将bin、include、lib文件夹中的相关文件拷贝到CUDA安装位置的bin、include、lib的x64文件夹中。
我的CUDA安装位置是：G:\NVIDIA_GPU_Computing_Toolkit_CUDA_v12.0。
4.验证是否成功
Win + R输入cmd打开cmd窗口。
直接输入盘符如F:跳转到F盘，cd进入到具体地址。
比如我的CUDA安装在G:\NVIDIA_GPU_Computing_Toolkit_CUDA_v12.0，
那么进入到G:\NVIDIA_GPU_Computing_Toolkit_CUDA_v12.0\extras\demo_suite
接着在cmd窗口输入下面的指令分别运行两个exe文件，结果出现PASS（如图）则验证成功。
1 | bandwidthTest.exe |
1 | deviceQuery.exe |
下载TensorRT包
1.选择适配CUDA版本的TensorRT包下载
进入官网，选择较新的大版本，再选择适合自己安装的CUDA版本下载。
我在此处下载Windows的支持CUDA12.0的版本。
2.选择合适的位置解压TensorRT压缩包
3.安装TensorRT
- 将TensorRT的
include文件夹中文件复制到CUDA安装位置的include文件夹。
我的操作是：copy \TensorRT-8.6.1.6\include → NVIDIA_GPU_Computing_Toolkit_CUDA_v12.0\include
-
将TensorRT的
lib中所有lib文件复制到CUDA安装位置的lib\x64文件夹 -
将TensorRT的
lib中所有dll文件复制到CUDA安装位置的bin文件夹
4.验证TensoRT
检查系统环境变量中是否有包含了CUDA的bin文件夹，没有则添加。
使用Visual Studio打开sampleMNIST示例，即打开../TensorRT-8.6.1.6\samples\sampleOnnxMNIST文件夹中的sln文件，必要时对项目属性的常规、VC++目录、C/C++里面的环境进行配置，添加依赖。参考
右键项目，点击重新生成。可以点击不调试运行测试。