#123 · 主分类: LLM应用框架
lotus
针对你的数据优化的智能体与LLM批量处理
项目最后更新:07/03/26
GitHub Stars
1.7K
Forks数量
152
贡献者数量
14
许可证
Apache-2.0
收录理由
当你的数据管道需要在成千上万条记录上反复调用大模型,而不是每次只处理单条提示时,LOTUS 会是一个很顺手的工具。它把 LLM 调用封装成类似 DataFrame 的 map、filter、reduce 等原语,让你用自然语言描述想要的结果,剩下的批处理和调度交给它的优化器去安排。无论是做代码库扫描、对语料库进行深度研究、从非结构化文档中抽取字段,还是分析大量 agent 日志里的失败模式,它的智能体模式都特别实用——可以为每个分片启动带沙箱的工具型 agent,再把它们的发现汇总成一份答案。它和 pandas 风格的工作流衔接自然,同时很在意模型 API 的调用成本,通过批量化和优化来提升准确率并降低开销。这个项目来自斯坦福和伯克利,维护也比较活跃,对用 Python 构建 LLM 数据处理系统的团队来说,是个靠谱的选择。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。
同类热门项目
langchain
智能体工程平台。
dify
在一个协作工作区中构建Agentic工作流、RAG管道,支持丰富的AI模型和工具。可部署在云、VPC或自托管环境,团队无需重建技术栈即可从原型走向生产。
headroom
压缩工具输出、日志、文件和RAG块,再送入LLM。编码代理减少20% token,JSON减少60-95% token,答案不变。提供库、代理、MCP服务器。
litellm
最快的、最轻量的AI网关。Rust核心,Python SDK。以OpenAI(或原生)格式调用100多种LLM API,具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
llama_index
LlamaIndex 是领先的文档代理和 OCR 平台