#3 · 主分类: LLM应用框架
headroom
压缩工具输出、日志、文件和RAG块,再送入LLM。编码代理减少20% token,JSON减少60-95% token,答案不变。提供库、代理、MCP服务器。
项目最后更新:08/29/26
GitHub Stars
68.0K
Forks数量
5.3K
贡献者数量
251
许可证
Apache-2.0
收录理由
Headroom 在提示词抵达模型之前就帮你把 token 账单压下来,而且不需要你改动调用 API 的方式。你可以把它当作代理跑起来,也可以作为 Python 或 TypeScript 库直接引入,或者接进现有框架里;它会自己判断负载是 JSON、代码、日志、diff 还是纯文本,然后挑合适的压缩器。省下来的量很实在:编码类 agent 大约能少用 20% 的 token,JSON 密集的负载能少 60% 到 95%。它只压缩最新的内容块,不碰提示词缓存的热区,同时保留原始内容,让模型在需要时还能取回完整细节。对于在 Claude Code、Cursor 或 LangChain/Agno 上处理大型代码库或长时间调试的团队,省下的量会越积越多;走代理路径则完全不用改代码,想测试的话直接套上就行,不会动到你现有的技术栈。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。
同类热门项目
langchain
智能体工程平台。
dify
在一个协作工作区中构建Agentic工作流、RAG管道,支持丰富的AI模型和工具。可部署在云、VPC或自托管环境,团队无需重建技术栈即可从原型走向生产。
litellm
最快的、最轻量的AI网关。Rust核心,Python SDK。以OpenAI(或原生)格式调用100多种LLM API,具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
llama_index
LlamaIndex 是领先的文档代理和 OCR 平台
pathway
用于流处理、实时分析、LLM管道和RAG的Python ETL框架。