fauxpilot

收录理由

FauxPilot 把 Copilot 风格的代码补全服务部署在你自己的硬件上，代码完全不需要离开本机。它借助 NVIDIA Triton 推理服务器和 FasterTransformer 后端来运行 Salesforce CodeGen 模型，推理过程在你的 GPU 上完成，而不是在云端数据中心。安装脚本会下载你选定的模型并转换成 FasterTransformer 格式，之后服务器会提供 OpenAI API、Copilot 插件接口和 REST API，大多数现有的编辑器客户端几乎不用改配置就能连上。使用前提是 Docker、支持 6.0 或更高计算能力的 NVIDIA GPU，以及足够容纳模型大小的显存，不过模型也可以拆分到多张 GPU 上运行。文档里把服务端搭建和客户端连接都讲清楚了，对于想要私有补全服务、或者不想订阅托管服务而尝试本地代码生成的团队来说，是个很实际的选择。