TopOpenSourceAI
EN

#67 · 主分类： LLM应用框架

GenerativeAIExamples

gpu-acceleration large-language-models llm llm-inference microservice nemo rag retrieval-augmented-generation tensorrt triton-inference-server

为加速基础设施和微服务架构优化的生成式AI参考工作流。

项目最后更新：08/20/26

在 GitHub 查看

GitHub Stars

4.2K

Forks数量

1.1K

贡献者数量

89

许可证

Apache-2.0

收录理由

NVIDIA 的 GenerativeAIExamples 更像是一套可直接照做的工程范例，而不是某个单一产品。仓库里汇集了围绕 RAG、智能体工具调用、微调、评估和护栏等环节的参考流程，几乎都构建在 NIM 与 NeMo 微服务之上。其中的 Notebook 展示了具体的落地方式：比如让 RAG 对接本地部署的 NIM、搭建知识图谱检索，或者并行运行多条护栏来降低延迟。对于想在确定架构前先弄清楚 NVIDIA 各组件如何协同工作的团队来说，直接借用这些现成模式远比从零开始要省事，配套的说明文档也便于把范例移植到自己的微服务布局中。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

langchain

智能体工程平台。

#1

dify

在一个协作工作区中构建Agentic工作流、RAG管道，支持丰富的AI模型和工具。可部署在云、VPC或自托管环境，团队无需重建技术栈即可从原型走向生产。

#2

headroom

压缩工具输出、日志、文件和RAG块，再送入LLM。编码代理减少20% token，JSON减少60-95% token，答案不变。提供库、代理、MCP服务器。

#3

litellm

最快的、最轻量的AI网关。Rust核心，Python SDK。以OpenAI（或原生）格式调用100多种LLM API，具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

#4

llama_index

LlamaIndex 是领先的文档代理和 OCR 平台

#5