AgentCPM-GUI

收录理由

大多数图形界面智能体都在干净的英文网页上开发和测试，真正在手机App里做自动化操作完全是另一回事。AgentCPM-GUI是一个80亿参数的视觉语言模型，输入一张安卓截图，它就能输出紧凑的JSON格式的下一步动作，包含边界坐标和简短推理说明。它的突出优势在于中文App覆盖能力：针对高德、大众点评、哔哩哔哩、小红书等三十多款常用应用做了专门微调，并通过强化微调让模型在复杂任务中先思考再行动。仓库里提供了模型权重、评测代码，以及基于Hugging Face transformers或vLLM的推理方案，你可以直接拿自己的截图来试，不需要太多配置。如果你在做端侧UI自动化、应用测试或无障碍工具，而且目标不全是英文环境，这个项目值得作为具体起点来尝试。