TensorRT从入门到了解-学习笔记（待续）

目录

• 0.简述
• 1. Part1 TensorRT 简介
• • 1.1 TensorRT 简介
  • • 1.1.1 TensorRT基本特性和用法
    • 1.1.2 TensorRT基本流程
    • 1.1.3 TensorRT上搭建模型方法
    • • 1.1.3.1 Workflow:使用TensorRT API搭建
      • • 1.1.3.1.1 Logger日志记录器
        • 1.1.3.1.2 Builder引擎构建器
      • 1.1.3.2 Workflow:使用ONNX-Parser
      • 1.1.3.3 Workflow:使用框架内TensorRT接口
      • 1.1.3.4 TensorRT环境
• 2.Part2 开发辅助工具
• • 2.1 trtexec:TensorRT命令行工具，主要的End2End性能测试工具
  • 2.2 Netron:网络可视化
  • 2.3 polygraphy:onnx计算图编辑
  • 2.4 onnx-graphsurgeon:结果验证与定位，图优化
  • 2.5 Nsight Systems:性能分析
• 3.Part3 插件书写
• • 3.1 Plugin简介
  • 3.2 关键API
  • 3.3 TensorRT中导入Plugin
  • 3.4 结合使用Parser和Plugin
  • 3.5 Plugin高级话题
  • • 3.5.1 Plugin的扩展性
• 4.Part4 TensorRT 高级用法
• • 4.1 多Optimization Profile
  • 4.2 多Stream
  • 4.3 多Context
  • 4.4 Cuda Graph
  • 4.5 Timing Cache
  • 4.6 Algorithm Selector