LLMFarm

收录理由

LLMFarm 让语言模型真正跑在 iPhone、iPad 和 Mac 本地，数据无需上传云端，适合对隐私敏感或希望离线使用的场景。它基于 llama.cpp 和 GGML，支持 LLaMA、Gemma、Qwen、DeepSeek、Mixtral、Mamba、RWKV 等众多开源模型，也能跑 LLaVA、Moondream 这类多模态模型。除了基本对话，还提供细致的采样参数调节（温度、top-p、mirostat、语法约束）、模型模板、上下文状态恢复、Apple 快捷指令，甚至内置 RAG 功能。对想在苹果设备上评估模型性能的团队来说，它也能当基准工具，直接比较不同模型在真实芯片上的速度和内存占用，帮助做出选型决定。