Interactive-LLM-Powered-NPCs

收录理由

开放世界游戏里，玩家通常只能对着固定台词的路人NPC按几下互动键，想真正开口聊上几句几乎不可能。这个项目却把这条界限打破了：你对着麦克风说话，系统先把语音转成文字，再连同角色设定一起交给语言模型生成回应，最后用唇形同步的动画替换掉游戏画面里NPC的脸部像素，让角色看起来真的在和你对话。它还能通过人脸识别判断你正在和谁说话，为每个NPC赋予独立的性格，并用向量存储和预对话文件维持记忆与说话风格的一致性。更特别的是，它还会用摄像头捕捉你的表情来调整回应方式，而这一切都不需要改动游戏源码，只是巧妙地覆盖了显示出来的面部画面。虽然它更像一个研究型原型，离成熟产品还有距离，但对想尝试用大模型驱动游戏内对话、搭建实时语音交互管线的开发者来说，这份代码提供了很实在的参考。