TensorRT 英伟达高性能深度学习推理平台开源项目

TensorRT是一个高性能深度学习推理平台，它包括深度学习推理优化器和运行时，可为深度学习推理应用提供低延迟和高吞吐量。在推理期间，基于TensorRT的应用比仅CPU平台的执行速度快40倍。

TensorRT基于 CUDA，NVIDIA的并行编程模型，能够利用CUDA-XAI中的库、开发工具和技术，为人工智能、自动机器、高性能计算和图形优化所有深度学习框架的推理。

此库包含TensorRT插件和解释器（Caffe和ONNX），还有一些演示TensorRT平台的使用和功能的示例应用。