UI-TARS

收录理由

字节跳动的UI-TARS是一组开放的视觉语言模型，它模仿人类操作软件的方式：先观察屏幕，判断下一步动作，再执行点击、拖拽或按键。这种思路让自动化不再依赖脆弱的CSS选择器或DOM结构，适用于网页、桌面应用、安卓模拟器乃至游戏场景。仓库里配有部署说明、推理脚本以及面向电脑端、移动端和grounding任务的提示词模板，还有一个Python包能把模型输出直接转换成可运行的pyautogui代码。配套的桌面版可以在本地设备上运行，浏览器自动化则由Midscene项目单独覆盖。对于想用多模态代理处理真实GUI工作的团队，这里有具体的示例和基准数据，而且权重开放，可以随时上手。