index-tts-vllm

收录理由

对于正在使用 IndexTTS 做实时克隆或配音、却被延迟卡住的人，这个项目提供了一条更快的路。它把 GPT 阶段用 vLLM 重写了一遍，并为 IndexTTS 1.0、1.5 和 2 都封装了带 API 和网页界面的服务。作者在单张 RTX 4090 上测得的实时率从约 0.3 降到 0.1，解码速度从每秒约 90 token 提到 280 token。还带一个兼容 OpenAI 的音频接口，不过他们自己说 v1/1.5 的端点还在打磨。加速是真的，但不均衡：只有 GPT 阶段是并行的，mel 和声码器部分仍是串行，这限制了能同时处理的请求数。如果你已经在跑 IndexTTS，想要更快的批量推理或更顺手的部署方式，这个项目是实用的替代方案，并不是新模型。