【trition-server】pytorch 文档：使用 Triton 提供 Torch-TensorRT 模型

Serving a Torch-TensorRT model with Triton

• pytorch 的官方文档：

• Serving a Torch-TensorRT model with Triton

在有关机器学习基础设施的讨论中，优化和部署是密不可分的。一旦完成网络级优化以获得最大性能，下一步就是部署它。

然而，提供这种优化模型也有其自身的一系列考虑和挑战，例如：构建基础设施以支持并发模型执行、通过 HTTP 或 gRPC 支持客户端等等。

Triton推理服务器 解决了上述问题以及更多问题。让我们逐步讨论使用 Torch-TensorRT 优化模型、将其部署在 Triton 推理服务器上以及构建客户端来查询模型的过程。

• PyTorch 提供了 TensorRT仓库： 编译以支持 TensorRT

PyTorch/TorchScript/FX compiler for NVIDIA GPUs using TensorRT