llmfit

收录理由

为本地推理挑选模型常常最耗时间：你清楚自己机器的配置，却难以判断几百个模型里哪些真能跑得顺畅。llmfit 会读取你的内存、CPU 和 GPU 信息，再对大量模型按显存占用、预估速度、质量和上下文长度逐项打分，让你在下载前就能心里有数。它既提供交互式 TUI，也有可脚本化的命令行模式，支持多 GPU、MoE 架构和动态量化选择，还能对接 Ollama、llama.cpp、MLX 和 LM Studio 这些常见本地运行环境。速度估算基于内存带宽模型和社区实测数据，内置的基准测试命令能测出你机器上的真实 tok/s，并允许把结果直接提交回项目。对开发者和小团队来说，这是一款实用的选型工具，而不是又一个模型运行器。