LLMCompiler

收录理由

做过多步骤工具调用的开发者，大多见过串行执行时那种拖沓的节奏。LLMCompiler 给出的解法是：拿到你定义好的工具集后，自动判断哪些调用可以并行跑、哪些必须等前面的结果，于是那些天然存在并行步骤的任务，既省时间又省 token。它同时支持 OpenAI 的 GPT 这类闭源接口，也支持 LLaMA 这样的开源模型，还能通过 LangGraph 和 LlamaIndex 嵌入现有技术栈，不必像 ReAct 式循环那样手工编排每一步的先后逻辑。仓库里附带论文评估的复现代码，方便你对照自己的负载，掂量一下延迟和准确率之间的取舍是否划算。