#16 · 主分类： 提示词工程工具
LLMLingua
[EMNLP'23, ACL'24] 加速LLM推理并增强LLM对关键信息的感知，压缩提示和KV缓存，实现高达20倍压缩且性能损失极小。
项目最后更新：04/08/26
GitHub Stars
6.6K
Forks数量
419
贡献者数量
17
许可证
MIT
收录理由
长文档和大段检索上下文会让每次API调用变慢、变贵，这是许多LLM应用迟早要面对的问题。LLMLingua在模型看到提示词之前就动手压缩，删掉冗余token，同时尽量保住关键事实，官方报告最高可达20倍压缩率，质量损失很小。它不需要单独部署成服务，通过现成的LangChain、LlamaIndex和Prompt flow集成就能直接插进现有流程，推理时还能压缩KV缓存。项目出自微软研究院，相关论文发表在EMNLP 2023和ACL 2024上，如果你想先搞清楚压缩原理再决定是否采用，这是个不错的参考。对于按token付费或者受上下文窗口限制的团队，与其大改技术栈，不如先拿自己的数据测一测它到底合不合用。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
awesome-nano-banana-pro-prompts
🍌 全球最大的Nano Banana Pro提示词库——超过10,000个精选提示词，附带预览图片，支持16种语言。Google Gemini AI图像生成。免费且开源。
prompt-master
一种Claude技能，为任何AI工具编写准确提示词。零令牌或积分浪费。完整上下文和记忆保留。
chatgpt_system_prompt
GPT系统提示词集合及各类提示注入/泄露知识。
awesome-nanobanana-pro
🚀 精选的 Nano Banana pro 提示词和示例的精彩列表。掌握提示工程和探索 Nano banana pro（Nano banana 2）AI 图像模型创意潜力的首选资源。
awesome-gpt-image-2
🚀 全球最大的GPT Image 2提示词库，每日更新——2000+精选提示词及预览图，支持16种语言。OpenAI的下一代图像模型，具备像素级文本渲染、跨图像一致性和商业级插图能力。免费开源。