AppAgent

收录理由

AppAgent 把 GPT-4V 这类多模态模型变成一位虚拟手机用户，通过屏幕上正常的界面操作来驱动 Android 应用，不需要后端接口。这对那些不提供公开 API 的应用尤其实用：代理会像人一样点击、滑动、输入，先在一个探索阶段里学习——既可以自主运行，也可以跟着人类演示来学——然后把学到的技能复用到实际任务中。它借助 adb 连接真机或模拟器，模型类里可以接入任意多模态模型，所以无论是做 UI 自动化测试原型、助手演示还是应用流程机器人，团队都能很快上手。仓库里还附带公开评测基准和现成的示例，对理解“先学习、再部署”这套代理工作流很有参考价值。