Model-Optimizer

收录理由

在 NVIDIA 硬件上部署 LLM 或扩散模型，成败往往取决于模型能否塞进显存，同时延迟还得压得住——这两点做不到，服务就无从谈起。Model Optimizer 用一套统一的 Python API 把这些压缩手段收拢起来：训练后量化、量化感知训练（支持 FP8 和 NVFP4）、结构化剪枝、蒸馏、稀疏化，还有投机解码，最后导出可直接部署的 checkpoint。真正的价值在导出这一步，优化后的模型能直接对接 TensorRT-LLM、TensorRT、vLLM 和 SGLang，也就是说你只优化一次，就能在已有的推理框架里跑起来。想在大模型上线前把它瘦身的团队，可以参考 Minitron 式的剪枝加蒸馏流程，这套流程已经支撑过真实的生产环境。对于在 NVIDIA GPU 上做生产推理的人来说，这是把“大到跑不动”的模型变成“又快又省显存”的务实路径。