Qwen2.5-Omni

收录理由

Qwen2.5-Omni 把 Thinker-Talker 架构用在了端到端多模态模型上，生成语音时会直接结合当前看到的画面和听到的声音，所以实时对话显得自然流畅，不会像传统方案那样生硬。它能同时接收文本、图像、音频和视频，并流式返回文字回答与合成语音，想做语音助手的话，不用再东拼西凑地接语音转文字、视觉识别和 TTS 三个独立服务。仓库里提供了 transformers 和 vLLM 的用法示例，还有 4-bit 量化版本以及通过 MNN 部署到边缘设备的说明，从本地原型到生产环境的路子都比较清晰。对需要同时处理多种模态的助手类项目来说，与其手动串联多个单用途模型，不如先拿它来做评估和验证。