TopOpenSourceAI
EN

#143 · 主分类： LLM应用框架

aici

ai inference language-model llm llm-framework llm-inference llm-serving llmops model-serving rust transformer wasm wasmtime

AICI：提示词即（Wasm）程序

项目最后更新：01/22/25

在 GitHub 查看

GitHub Stars

2.1K

Forks数量

86

贡献者数量

10

许可证

MIT

收录理由

AICI 是一个运行层，让你能在模型生成输出的过程中实时介入控制。它把控制器写成轻量级的 WebAssembly 模块，在 GPU 忙着生成 token 时，这些模块跑在 CPU 上，从而实现严格的语法约束，或者协调多个并行生成进程共同遵循一个计划，而无需改动推理引擎本身。控制器可以用 Rust、C 甚至 Python 来编写，并且运行在沙箱里，兼顾了速度与安全性。这个项目位于更上层的库之下，所以 Guidance、LMQL 以及持续维护的 llguidance 都能基于它构建；同时它也接入了 llama.cpp 和 HuggingFace Transformers。不过它目前仍标为原型，更适合当作研究或定制系统的实验基础，而不是拿来即用的部署工具。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

langchain

智能体工程平台。

#1

dify

在一个协作工作区中构建Agentic工作流、RAG管道，支持丰富的AI模型和工具。可部署在云、VPC或自托管环境，团队无需重建技术栈即可从原型走向生产。

#2

headroom

压缩工具输出、日志、文件和RAG块，再送入LLM。编码代理减少20% token，JSON减少60-95% token，答案不变。提供库、代理、MCP服务器。

#3

litellm

最快的、最轻量的AI网关。Rust核心，Python SDK。以OpenAI（或原生）格式调用100多种LLM API，具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

#4

llama_index

LlamaIndex 是领先的文档代理和 OCR 平台

#5