whisper-jax

收录理由

对于已经选定 Whisper 模型但受限于其推理速度的团队，这个基于 JAX 的移植版本值得认真评估。它在同一模型上比原版 PyTorch 实现快出 70 倍以上，在 TPU 或多 GPU 环境下，转录半小时音频仅需约三十秒。FlaxWhisperPipeline 类封装了预处理、分块和结果拼接，使用者在获得加速的同时无需自行处理并行推理。该实现同时支持 CPU、GPU 和 TPU，既能作为独立脚本运行，也能部署为推理服务，对于已经超出基础 Whisper 运行效率的转录应用和会议工具而言，是一个实用的直接替换方案。