#15 · 主分类: 推理与本地部署

llamafile

cross-platform gguf llama-cpp local-ai local-inference local-llm open-source-ai single-file-executable speech-to-text

通过单个文件分发和运行LLM。

项目最后更新:08/26/26

GitHub Stars

25.7K

Forks数量

1.6K

贡献者数量

74

许可证

Other

收录理由

llamafile 把运行开源模型时最耗人的环节——装环境、调依赖——直接压缩成一个可执行文件。它把 llama.cpp 和 Whisper 语音转文字引擎打包在一起,在大多数操作系统和 CPU 架构上都能直接跑,不需要安装任何东西。这意味着你给用户交付一个模型时,递过去的可以是一个文件,而不是一页又一页的配置指南。对想把本地模型分发给非技术人员的开发者来说,这省掉了大量解释成本;对需要在没有网络的机器上复现模型运行的团队,它提供了一种干净利落的可重复方式。同样的打包思路也覆盖了音频场景,whisperfile 能直接做转录和翻译,无需额外设置。如果你只是想快速试一个开源模型,不想把整个下午耗在依赖地狱里,这个工具几乎是最直接的路径了。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目