#70 · 主分类： LLM应用框架
LLamaSharp
一个C#/.NET库，用于在本地设备上高效运行LLM（🦙LLaMA/LLaVA）。
项目最后更新：08/24/26
GitHub Stars
3.8K
Forks数量
506
贡献者数量
95
许可证
MIT
收录理由
LLamaSharp 为 C# 开发者提供了一条在本地运行大语言模型的托管路径。它封装了 llama.cpp，让你可以直接在代码中加载 GGUF 模型并生成文本，无需处理原生 C++ 或额外部署独立服务。该库既支持纯文本的 LLaMA 系列模型，也支持 LLaVA 等多模态模型，并提供 CPU、CUDA、Vulkan 等多种后端，这些后端均以 NuGet 包分发，多数硬件环境只需安装即可使用。其高层 API 以及对 Semantic Kernel 和 kernel-memory 的内置集成，使得将模型接入现有 .NET 智能体、聊天功能或检索流程变得相当直接。如果团队希望留在 C# 技术栈内，同时构建本地部署或注重隐私的辅助应用，这个库是一个很实在的基础。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
langchain
智能体工程平台。
dify
在一个协作工作区中构建Agentic工作流、RAG管道，支持丰富的AI模型和工具。可部署在云、VPC或自托管环境，团队无需重建技术栈即可从原型走向生产。
headroom
压缩工具输出、日志、文件和RAG块，再送入LLM。编码代理减少20% token，JSON减少60-95% token，答案不变。提供库、代理、MCP服务器。
litellm
最快的、最轻量的AI网关。Rust核心，Python SDK。以OpenAI（或原生）格式调用100多种LLM API，具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
llama_index
LlamaIndex 是领先的文档代理和 OCR 平台