TopOpenSourceAI
EN

#174 · 主分类： 推理与本地部署

ppq

caffe cuda deep-learning neural-network onnx open-source pytorch quantization

PPL量化工具（PPQ）是一款强大的离线神经网络量化工具。

项目最后更新：03/28/24

在 GitHub 查看

GitHub Stars

1.8K

Forks数量

285

贡献者数量

26

许可证

Apache-2.0

收录理由

PPQ 是一个离线神经网络量化工具，专注于将浮点模型转换为定点模型，服务于推理部署场景。它支持 ONNX 和 PyTorch 模型的量化，并提供硬件特定的量化器和导出逻辑，与 TensorRT、ncnn、MNN、OpenVINO 等推理框架协同工作。其内置执行引擎和量化优化流程使得模型压缩和部署更加灵活，完全符合推理与本地部署的需求。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

ollama

快速上手使用 Kimi-K2.6、GLM-5.2、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma 等模型。

#1

llama.cpp

基于C/C++的LLM推理

#2

vllm

面向LLM的高吞吐量、内存高效的推理与服务引擎。

#3

gpt4all

GPT4All：在任何设备上运行本地大语言模型。开源且可用于商业用途。

#4

LocalAI

LocalAI 是开源 AI 引擎。可在任何硬件上运行任何模型——LLM、视觉、语音、图像、视频。无需 GPU。

#5