chitu

收录理由

多数推理引擎默认你跑在英伟达上，而赤兔从设计之初就面向更广泛的硬件生态。它能在昇腾、摩尔线程、沐曦、海光等加速卡上运行大模型，也能跑在纯CPU环境或CPU+GPU混合配置上，这意味着即便你的服务器集群来自不同厂商，想自托管时也不必为了兼容而重新搭建平台。部署环节由单一的chitu.run可执行文件完成，多节点、多实例、预填充与解码分离等复杂任务都打包在内，从单卡扩展到集群只需改配置，无需重写代码。它对超大规模MoE模型的支持尤其亮眼：早期就为DeepSeek-R1 671B提供了运行环境，自带的FP4和FP8算子能把模型压缩到小团队负担得起的尺寸，CPU+GPU混合路径甚至能在单机上跑完整模型。如果你的线上服务需要应对真实并发流量，且硬件环境混合了多家加速器，那么在选择英伟达为中心的常规方案之前，值得认真看看。