导出模型

TorchScript

TorchScript 是 PyTorch 的中间表示，可以在 Python 之外的环境（如 C++）中运行。

import torch

model = MyModel()
example_input = torch.randn(1, 3, 224, 224)
scripted_model = torch.jit.trace(model, example_input)
scripted_model.save("model.pt")

ONNX

ONNX（Open Neural Network Exchange）是一种开放的模型格式，支持多种深度学习框架之间的互操作性。

import torch.onnx

model = MyModel()
example_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(model, example_input, "model.onnx")

部署平台

TorchServe

TorchServe 是 PyTorch 官方提供的模型服务框架，支持模型的热更新、版本管理和多种后端部署。TorchServe 针对深度学习模型的推理进行了优化，能够提供高效的推理速度和可扩展的吞吐量。它支持多线程推理和GPU加速，能够满足高性能需求的应用场景。

pip install torchserve torch-model-archiver
torch-model-archiver --model-name model --version 1.0 --serialized-file model.pt --export-path model_store --extra-files index_to_name.json --handler image_classifier
torchserve --start --model-store model_store --models model=model.mar

其他平台

• TensorFlow Serving：虽然主要支持 TensorFlow，但也可以通过 ONNX 格式部署 PyTorch 模型。
• TensorRT：NVIDIA 提供的推理优化引擎，支持 PyTorch 模型的加速推理。
• AWS SageMaker：支持 PyTorch 模型的托管和部署。

部署示例

以下是一个使用 TorchServe 部署模型的简单示例：

# 导出模型为 TorchScript
python export_model.py

# 创建模型归档文件
torch-model-archiver --model-name model --version 1.0 --serialized-file model.pt --export-path model_store --extra-files index_to_name.json --handler image_classifier

# 启动 TorchServe
torchserve --start --model-store model_store --models model=model.mar

# 发送推理请求
curl http://127.0.0.1:8080/predictions/model -T sample.jpg