truss

收录理由

当你手头有一个 Hugging Face 模型，想让它变成可用的 API，又不想写 Dockerfile 或碰 Kubernetes 时，Truss 就是那个趁手的命令行工具。你只需在配置文件中描述模型、硬件和推理引擎，然后执行 `uvx truss push`，它会自动构建服务容器并完成部署，同一套打包配置在本地开发和线上环境行为一致。它支持大多数主流 Python 框架，从 transformers、diffusers 到 PyTorch、TensorFlow，再到 vLLM、SGLang 和 TensorRT-LLM，这样一套流程就能应对 LLM、图像和音频模型。Truss 围绕 Baseten 及其 GPU 自动扩缩容设计，但生成的容器也可以部署到自己的基础设施上。对于想把训练好的模型快速变成 OpenAI 兼容接口的团队，这是一条很实在的路径。