项目方向
如你所见，这是一个基于多模态模型的Mobile GUI-VLA 项目。这里的 VLA 并不是让机器人抓取物体的那一类视觉—语言—动作系统；它关注的是手机屏幕：模型读到自然语言任务和当前截图，判断下一步应做什么，再把动作交给设备执行。
从理解屏幕到动作执行
可以把一次交互理解为一条短循环：任务描述与截图进入策略，策略输出结构化动作，例如点击、滑动、输入、返回或等待；设备执行后产生新截图，下一轮再据此决策。真正困难的地方不只是“会不会回答”，而是把语言中的目标可靠地落到具体界面元素和坐标上。研究中通常把这项能力称为 GUI grounding：模型需要在视觉界面里定位正确的控件，并理解当前页面状态是否允许执行该动作。当然，活干到一半gpt6横空出世，去看了看computer use实现方式，发现有更高效的让模型理解屏幕的方式，于是马上更新了相关的harness，虽然现在还有点小屎，但相比单纯的截屏交给模型理解有了切实的效率提高，还是得抬头看路.jpg，同时感觉豆包手机或许真的能王朝呢？
任务评估
评估也不能只看模型输出是否“像对的”。任务是否完成、一次交互耗时多久，以及不确定时是否能安全停止，都应该与轨迹一起记录。AndroidWorld 提供了带初始化、成功检查和清理逻辑的真实 Android 任务环境；OSWorld 的结果也提醒我们，真实计算机界面中的视觉定位与操作知识仍是多模态 agent 的主要难点。因此，这个方向更像是在把一个可观察、可复现实验系统先搭稳，再让数据和评估引导模型改进。 ——上面是AI的总结，大体来说，评估时不只看模型执行任务的成功率，提高准确率所用的token，消耗的时间，危险操作的终止都是需要考虑的
一些闲话
本来项目准备用纯视觉判断手机的方案，但一方面这个方法的响应速度令人发指，一方面gpt的computer use功能效果太好了，出于好奇去看了技术文档，发现他们的方案复用了很早就存在的accessibility api，最初用于造福视障人士的技术在AI时代却焕发了新的光彩，令人有些莫名的感慨，也许技术的发展从不依赖于特定方向的进步，就像出于游戏用途的gpu后来被用于并行计算，解决图像渲染的流体算法在仿真领域也有作用，也许某年某日我之前造出的屎山也有了它的作用呢，回首这个项目，其实也有了不小的进展，最早模型只能做出简单的点击功能，随着对harness的不断升级，我终于可以吃到模型给我点的窑鸡，希望在项目结束时，模型可以以更高效的方式，自如的用着不同的app处理事务