会操作电脑的智能体，最缺的不是模型，而是能放手让它操作的软件。真实应用有登录门槛和真实用户，点错一步成本高昂，拿来训练又贵又慢、无法复现；可换成固定网页和截图当题库，模型又会很快把答案背下来。微软研究院（Microsoft Research）提出的Echoverse换了个思路：程序化生成一整批虚构但完整的应用——民宿预订EchoStay、代码托管EchoForge、网银EchoBank、邮件EchoMail等，每个应用自带数据库，每次点击都真实改写数据，任务成败直接核对数据库状态。更关键的是，这套环境会随智能体一起进化。
平台包含12个训练世界、14个评测划分。一个90亿参数的模型在这里走完训练流程后，14项评测的平均任务成功率从基线的36.5%提升到67.1%，而充当“老师”的前沿模型GPT-5.4在同一套环境上约为80.7%，小模型与它的差距收窄到十四个百分点以内。
先有“深度世界”，智能体才学得到后果
截图只能告诉智能体界面长什么样，只有跑起来的应用能告诉它一次点击造成了什么后果。Echoverse把一份应用规格编译成有状态的网页应用：搜索、下单、转账、发帖这些工作流真的能走通，数据在不同页面和不同用户之间保持一致，每个任务都附带可机器核对的目标；一个回合结束，环境可以一键重置、反复重来。回合之间彼此隔离、运行确定，同样的操作序列总是得到同样的状态，训练和评测都能稳定复现。论文特别区分了“深世界”和“浅世界”：只克隆外观的浅应用甚至会把模型带偏，从真实工作流倒推构建的深世界才能把技能迁移出去。
一次评分两处用：环境和模型共同进化
普通微调只改进模型，Echoverse把“造环境”和“练模型”合成一条闭环。智能体在世界里跑完一个回合，评分器核对结果：若失败是模型造成的，这条轨迹进入训练数据；若失败源于环境、任务或评分器本身的缺陷，就反过来修复世界。同一次评分既测量模型，又打磨出题人。论文举例，EchoStay里一个客人数控件悄悄失灵，导致正确预订永远无法登记；修复后这类任务的可完成比例从48%升到78%，而在修复后世界上训练的模型成绩从16.2%涨到38.5%。固定题库迟早被刷爆，这条闭环却会越转越严。
图1：共同进化的学习闭环——每次打分既产出训练数据，也产出对环境的修复。
两阶段训练：先模仿老师，再让结果打分
训练分两步走。监督微调阶段，由GPT-5.4在各个世界中演示任务、生成轨迹，经数据库评分器过滤后形成约2.1万条可验证轨迹，9B模型先模仿这套语料；强化学习阶段，模型在环境里成组采样轨迹，奖励只看真实结果。最终14个评测划分上，基线模型36.5%，微调后的模型67.1%，GPT-5.4约80.7%，小模型在部分划分上甚至追平或超过老师。
图2：环境工厂的两个阶段——第一阶段从手写种子扩展出应用规格、生成应用并对照机器可核对的契约反复验证修复，第二阶段在活数据库上重接地任务、由多智能体面板分析修补，直到通过率停止爬升后导出语料。
图3：哑铃图对比三方成绩——基线36.5%、本文67.1%、GPT-5.4约80.7%。
强化学习：奖励落在数据库状态上
真实网页没法充当强化学习环境：它不能重置、会限流，登录态和真实用户也不能随意摆弄。合成世界恰好补上这些条件。Echoverse的每个强化学习回合产生两种奖励：结果奖励由数据库评分器核对最终状态，步骤奖励由多模态裁判逐帧判断动作是否真的生效，且留出验证只看结果奖励，杜绝靠“假装完成”骗分。加入强化学习后，模型在留出划分上的成绩从58.8%升到68.0%。
图4：可验证奖励的强化学习流程——成组轨迹改变数据库，评分器依据最终状态给出奖励。
走向真实网页，还只是开始
研究团队没有掺入任何真实网页数据训练，迁移仍然成立：在WebVoyager和Online-Mind2Web两个真实网页基准上，训练后模型均有提升，例如WebVoyager托管浏览器条件下成功率从66.5%升到71.5%。但作者态度克制：训练和绝大多数评测都发生在自建合成环境中，真实网页迁移仅在两个基准、有限站点上验证，提升幅度也不大，瓶颈在覆盖面而非能力上限。扩展实验显示，同一批环境里堆轨迹数量会很快饱和，增加新环境才能同时抬高合成成绩与迁移表现。Echoverse已开源四个环境及配套数据与评分器，这条“环境与模型共同进化”的路线能否真正走出沙盒，还要等更多真实域的检验。
图5：向真实网页的迁移结果——未经真实网页数据训练，模型在两个网页基准上仍有提升。
