#85 · 主分类： 推理与本地部署
optillm
agent
agentic-ai
agentic-framework
agentic-workflow
agents
api-gateway
chain-of-thought
genai
large-language-models
llm
llm-inference
llmapi
mixture-of-experts
moa
monte-carlo-tree-search
openai
openai-api
optimization
prompt-engineering
proxy-server
用于大语言模型的推理优化代理
项目最后更新：07/18/26
GitHub Stars
4.3K
Forks数量
385
贡献者数量
20
许可证
Apache-2.0
收录理由
OptiLLM 以代理层形式运行在任何兼容 OpenAI 的接口之前，拦截请求并在返回结果前应用二十余种推理时优化技巧。对于无法微调模型的团队来说，它提供了一条在数学和编程任务上更进一步的路子——仓库示例显示，仅靠增加推理计算量就能在 AIME 2025 上提升约 30 分，而无需重新训练。使用起来也简单：把现有 OpenAI 客户端指向本地端口，并在模型名前加上 `moa-` 或 `mcts-` 这类前缀，就能方便地对照 best-of-N、思维链反思、MCTS 以及多智能体策略在同一组任务上的表现。它还通过 LiteLLM 路由，同样的技巧可以用于 GPT、Claude 或开源权重模型，而不用改动你的应用代码。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。