#181 · 主分类： LLM应用框架
rellm
从任何语言模型输出中提取精确结构
项目最后更新：08/10/23
GitHub Stars
510
Forks数量
24
贡献者数量
3
许可证
MIT
收录理由
在语言模型之上做应用开发的人，多半都尝过解析残缺JSON或清理多余标点的苦头。ReLLM选择从源头下手：每生成一个token之前，它就把不符合给定正则表达式的logits遮掉，让模型根本走不出你设定的模式。这意味着你可以直接约束模型输出合法的JSON或XML结构，把日期、数字固定成指定格式，甚至在一个完整句子模板里只留一个待填空位，完全不用事后处理或重新训练。它通过简单的pip安装就能接入HuggingFace transformers的生成流程，而且同样的遮罩技巧对小模型也有稳定输出质量的附带好处。这是一个聚焦的工具而非大而全的框架，正适合在生成模型之上需要确定结构时的场景。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
langchain
智能体工程平台。
dify
在一个协作工作区中构建Agentic工作流、RAG管道，支持丰富的AI模型和工具。可部署在云、VPC或自托管环境，团队无需重建技术栈即可从原型走向生产。
headroom
压缩工具输出、日志、文件和RAG块，再送入LLM。编码代理减少20% token，JSON减少60-95% token，答案不变。提供库、代理、MCP服务器。
litellm
最快的、最轻量的AI网关。Rust核心，Python SDK。以OpenAI（或原生）格式调用100多种LLM API，具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
llama_index
LlamaIndex 是领先的文档代理和 OCR 平台