论文导读
中科大、上海人工智能实验室、新加坡国立大学等机构提出OS-Helix，让桌面AI在点击界面和执行代码之间自行选择，再回到屏幕核对结果。27B强化学习版本在OSWorld-Verified测试中达到66.44%成功率，同骨干混合工具基线为46.50%，展示了把两种操作方式一起训练的收益。
会点按钮，也要知道什么时候改文件
在表格里批量改一组数据，用鼠标逐格点很慢；但脚本改完文件，不代表应用显示的状态一定正确。桌面工作经常需要先处理结构化内容，再打开软件检查排版、图形或设置。
OS-Helix把这些动作放进同一个策略。模型看到任务和当前截图后，可以点击、输入、运行Python或Bash，也可以结束任务。代码的标准输出和错误会回到对话，影响下一次操作。
图：上方对照只用界面与只用代码，下方展示统一策略组合两种动作
这里的改动并不是给原有点击模型接一个终端就结束。论文的匹配实验中，Qwen3.5-27B的GUI基线成功率为46.61%，加入混合工具后的基线为46.50%。工具变多，本身没有带来自动进步。
训练任务从真实文件和可运行软件里长出来
为了训练这种切换，团队先把应用与能被它打开的文件配对。一份演示文稿可以进入对应的演示软件，一张表格可以成为表格软件中的具体初始状态。应用版本、启动方式和文件状态也被固定下来。
随后，一个探索过程查看真实环境，再提出用户可能要求完成的事情。另一个独立过程负责编写检查逻辑。它检查最终文件或画面是否满足要求，不规定模型必须点几次鼠标或必须用代码。
这一步决定了奖励什么。只检查脚本是否执行成功，会漏掉文件内容不对；只让模型口头说“完成”，也无法证明桌面真的变了。文件和终态检查让不同操作路径有机会接受相同标准。
图：四个阶段依次构建桌面状态、生成任务、学习轨迹并进行强化训练
模型先学习筛选后的混合操作轨迹，再在运行中的桌面环境里练习。训练还要防止代码天然较长、单次点击很短造成权重偏斜。作者按动作步骤平衡一部分优化计算，让一大段代码不会仅凭字数多就压过其他动作。
66.44%来自361项任务和固定步数
主要评测覆盖Ubuntu桌面上的系统、办公、日常应用、专业软件和跨应用流程。论文从原基准中排除8项Google Drive任务，最终评价361项，每段操作最多50步。
同样的27B骨干，混合工具基线为46.50%，监督训练后达到62.75%，进一步强化学习达到66.44%。从46.50到66.44增加的是19.94个百分点，不能写成增加19.94%的相对提升。
图：两组桌面案例分别展示下载课程文件和依据付款记录填写邮件收件人
强化学习也没有让每个类别一起上涨。其额外收益集中在专业软件、系统和日常任务，办公与跨应用流程未继续超过监督训练版本。总体平均数上升，不能替代逐类结果。
论文还报告了WindowsAgentArena的迁移测试，强化学习版本为63.87%。这说明学到的协作方式在另一平台上有收益，但仍是规定环境与预算下的研究评测，不是对任意电脑、任意办公任务的可靠性保证。
对桌面Agent而言，这篇论文给出的具体经验是：代码与界面操作要共同接受训练，并围绕同一个可核对的最终状态协作。是否用终端，应由任务需要和执行反馈决定。
参考资料
https://arxiv.org/abs/2610.22234
https://arxiv.org/html/2610.22234
