mllm

收录理由

mllm 是一款面向手机与边缘设备的 C++ 推理运行时，专为在本地运行多模态大模型而设计，而非依赖云端。它支持 Arm CPU、x86、Apple Silicon，以及通过 QNN 接入的高通 NPU，并在 Jetson 板上提供实验性的 CUDA 支持。引擎自带一套类似 PyTorch 的 Pythonic API，支持 eager 执行与图追踪，开发者可以定义或改造模型，再将其编译为面向 NPU 优化的静态表示。核心之外还提供了 C SDK、基于 Go 的命令行工具和模型转换器，方便从常见格式导入权重，把运行时嵌入实际产品。文档覆盖 Android、x86、macOS 与 Docker 的构建步骤，可以帮你评估本地推理在自己硬件上的表现。