客户要一个AI日报，再加一个聊天框。模型按时交付，功能检查全过，客户真正关心的业务指标却可能纹丝不动。
10月15日，DeepLethe与清华、上海交大等机构研究者在arXiv发布FDE-Gym，把这种交付难题做成了95项测试：让AI进入模拟客户环境，找问题、问人、改系统，再看交付后业务有没有改善。
论文评测了7家供应商的13种模型配置。在最接近客户原始委托的L3设置下，排名第一的Claude Opus 5.5平均得分0.56，达到“解决”标准的任务是14项，占95项的约15%。
这里的0.56不是56%的成功率。评分以原系统不变为0、专家参考方案带来的改善为1，再扣去与客户沟通等成本。任务得分至少0.8，且没有发生预定义的操作事故，才算解决。
深色条为最终得分，浅色条为扣除客户沟通成本前的归一化业务改善。来源：论文图2a。
老板要聊天框，问题却在旧脚本
论文的钻井案例里，一位副总裁希望在11月董事会前拿出生成式AI成果：每日摘要邮件，以及一个“Ask your wells”问答框。
他还划了条边界：停机归因已经自动化，不在项目范围内。
偏偏业务卡在这里。旧脚本用关键词判断停机责任，把部分不该归给承包商的停机也算了进去。每个月只要有一条争议记录，当月的停机抵扣就会被暂缓。
真正有效的交付，需要回头修这套被划出范围的系统：找出适用的合同规则，向成本工程师确认解释，再取得那位当周不在的审批人的许可。
负责人要求上线摘要与问答，并明确排除停机归因系统。来源：论文图4。
FDE是前线部署工程师，通常由供应商派驻客户组织，负责把技术接入实际业务。FDE-Gym模拟的就是这类工作：手里有代码、历史数据、文档和员工通讯录，但需求方的第一句话未必指出了该改什么。
交付也有硬约束。最终系统会按原有入口直接部署，再用未向模型展示的生产数据评测；另写一个漂亮的新程序，如果没有接入实际调用链，就不会产生收益。
最大的掉分，发生在“规则没写出来”之后
这套测试由行业专家将真实交付项目改编而来，覆盖18个行业、20个客户场景，再通过修改关键事实扩展到95项任务。客户与员工经过匿名化或虚构处理，客户人员的回答按预设脚本模拟。
研究者还把同一个任务的说明分成四档：L0直接给出真实问题、规则和评分方式；L1只说明真实问题；L2给一个模糊但方向正确的请求；L3则交给模型客户最初的委托，方向也可能有偏差。
在20项原始任务的同条件对照中，前三名模型拿到完整规则时，得分为0.73—0.82；拿掉规则、要求自行调查后，就降到0.39—0.62。
继续把请求变模糊，甚至换成可能指错方向的原始委托，平均只再降0.04。对这些领先模型，最大的落差出在发现未明说的规则与约束。
但问到答案也没结束。Opus 5.5在23项任务里拿齐了客户人员掌握的关键事实，其中只有10项的业务改善达到参考方案的八成。
问得太多还会扣分。这套模拟环境为消息、部分试运行和等待设置了成本，模型事先不会被明确告知沟通要扣分。Opus 5.5交付系统的平均业务改善为0.70，扣去0.14的客户接触成本，最终剩下0.56。
有些交付，比什么都不改更糟
评分允许负数：赔了不该赔的钱、把费用算给错误对象，或者叫醒了错误的值班工程师，都可能让新系统落后于旧系统。
论文中，Claude Haiku 4.5在79项任务上最终得分为负；Mistral Small 4即使尚未扣除客户沟通成本，交付的系统仍在51项任务上低于原系统。
这些结果来自统一的简易智能体框架，每项任务与说明档位组合重复运行3次。它们衡量的是这一框架里的模型配置；论文当前还没有给出人类专家基线，沟通成本也由场景专家设定。
可以自己进场练习了
项目同时提供在线练习平台，让人和AI使用相同的客户工作区、模拟人员与评分器。官方演示展示了从阅读客户需求、查看代码到指导编程智能体的工作台。
校园预约助手任务：左侧是客户资料与交付文件，中间为代码，右侧可与智能体协作。来源：FDE-Gym官方演示。
代码采用Apache 2.0许可；数据有单独条款。公开示例包括校园预约、夜间故障响应、仓库机器人部署3个完整场景。20个原始任务需申请访问，75个变体和参考答案不公开。数据集要求不将案例用于模型训练。
项目与练习入口：https://fde-gym.com/paper
代码：https://github.com/deeplethe/fde-gym
公开示例：https://huggingface.co/datasets/DeepLethe/FDE-Gym-examples
完整原始任务申请：https://huggingface.co/datasets/DeepLethe/FDE-Gym
参考资料
https://arxiv.org/html/2610.22350
https://github.com/deeplethe/fde-gym
