#113 · 主分类: LLM应用框架
genai-processors
GenAI Processors 是一个轻量级 Python 库,支持高效、并行的内容处理。
项目最后更新:08/04/26
GitHub Stars
2.1K
Forks数量
227
贡献者数量
16
许可证
Apache-2.0
收录理由
如果你经常为每个模型调用编写同样的异步胶水代码,这个库能省下不少功夫。它把所有输入输出统一成一种内容模型,Processor 只是把输入流转换成输出块的小单元,你可以把多个单元串起来,也能并行跑,进而搭出更复杂的管道和智能体行为。asyncio 是默认机制,不是事后补丁,所以并发请求和流式输出不需要额外封装。内置的处理器既支持常规的轮询式模型调用,也支持 Live API 的实时音视频交互;想自定义时,可以写普通函数,也可以继承基类。相比那些笨重的编排框架,它更轻量,如果你已经深度使用 Gemini,这套组合模型在研究型智能体和实时应用上会很好用。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。
同类热门项目
langchain
智能体工程平台。
dify
在一个协作工作区中构建Agentic工作流、RAG管道,支持丰富的AI模型和工具。可部署在云、VPC或自托管环境,团队无需重建技术栈即可从原型走向生产。
headroom
压缩工具输出、日志、文件和RAG块,再送入LLM。编码代理减少20% token,JSON减少60-95% token,答案不变。提供库、代理、MCP服务器。
litellm
最快的、最轻量的AI网关。Rust核心,Python SDK。以OpenAI(或原生)格式调用100多种LLM API,具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
llama_index
LlamaIndex 是领先的文档代理和 OCR 平台