AI模型能在编程基准上解出88%的终端任务、90%的Web应用开发题目。但如果让它们接一个真实客户的项目——需求模糊、关键规则没人说、系统在线运行——又会怎样？
一个新发布的基准给出了答案：最强的模型只完成了15%的交付任务。
当甲方需求方向就是错的
DeepLethe联合清华、哈佛、斯坦福等20多个机构的行业专家，今天发布了FDE-Gym——一个包含95项端到端交付任务的基准，覆盖能源、医疗、银行、制造等18个行业。
FDE-Gym的名字来自Forward-Deployed Engineer（前线部署工程师），这个角色被供应商派往客户现场，不只写代码，还要搞清楚客户到底需要什么、跟谁确认、系统怎么改才能真正提升业务指标。
论文用了一个钻井场景说明问题：客户副总裁要一个"每日摘要邮件"和"Ask your wells"聊天框，并明确说停机编码系统已经有了，不需要动。但真正的业务瓶颈恰恰出在那个"不需要动"的系统上——它的关键词脚本错误地归因了承包商停机时间，每月至少一笔索赔被挂起。严格按要求交付的方案，一分业务改善都带不来。
FDE-Gym从18个行业的真实交付项目出发，行业专家投入超过10,000小时构建20个客户场景和95项任务。
88分的选手来做交付题，只拿了19分
论文评估了7家提供商的13种模型配置，包括Claude Opus 5.5、Sonnet 5.5、GPT-6 Astra、GPT-6.1 Sol、GLM-5.3 Flash、DeepSeek V4.1 Flash、Gemini 3.8 Flash等。
左图：L3（最接近真实交付）设定下各模型得分。右图标注为"The Cliff"——从完全指定问题(L0)到需要自行发现约束(L1)，得分断崖式下降。
在最接近真实情况的L3设定下，最强的Claude Opus 5.5平均得分0.56（满分1.0），95项任务仅解决14项。Claude Sonnet 5.5得0.49，GPT-6 Astra得0.38。有5个模型配置一项任务都没解决。
更直观的对比来自论文Figure 8：同一批模型在Terminal-Bench上能解出88%的任务，在Vibe Code Bench上完成90%的Web应用，但到了FDE-Gym，得分直接降到19—56分。
同一个模型在编程基准上的好成绩，不能预测它在客户交付场景中的表现。
发现客户没说出来的约束，是最大瓶颈
论文设计了四个任务指令级别来定位瓶颈。L0把问题、规则、约束全告诉模型；L3只给客户发起人的原始请求——可能方向就是错的。
当规则全部提供时(L0)，前三个模型得分0.73—0.82，解决11—13项任务。只要把约束藏起来让模型自己找(L1)，得分立刻跌到0.39—0.62，解决任务数降到1—7项。论文把这一步叫做"The Cliff"。
但问题不止于信息发现。Opus 5.5在23项任务中成功从利益相关者处获取了全部关键事实，其中只有10项的业务提升达到0.8以上。知道了所有情况，也不一定做得好。
弱模型越帮越忙
更值得注意的发现是：弱模型不只是"做不好"，而是让客户的处境比不做任何改变还差。
红色区域表示得分低于"什么都不做"的基线。Claude Haiku 4.5有79项任务处于这一区间。
Claude Haiku 4.5在79项任务上得分低于不做任何改变的基线，Mistral Small 4在扣除沟通成本之前就有51项低于基线。论文的说法很直接：弱模型不是强模型的廉价版，它的预期贡献是负的。
开启思考模式(thinking)也没有帮助：Claude Haiku 4.5从-0.33变成了-0.35。
OJ变了，从"Accepted"到客户指标
FDE-Gym的评分方式与传统编程竞赛完全不同。它不检查输出对不对，而是把AI交付的系统真正上线，用客户从未展示过的生产数据来评判：你的改动让客户的业务指标提升了多少。得分0意味着没有改善，1等于专家参考方案的效果。
问利益相关者问题会被扣分——因为真实世界里占用客户员工的时间有成本。GPT-6 Astra的系统在36项任务上业务提升达到0.8，但扣掉沟通成本后只剩9项通过。
基准还内置了防作弊机制，用270多种捷径策略测试每个评分器。严格照要求做的方案得分上限只有0.2，过拟合历史数据和猜整数阈值的策略不超过0.8。
代码以Apache 2.0许可开源（TypeScript实现），20项原始任务通过HuggingFace提供，在线平台fde-gym.com允许人类在相同评分标准下练习，人类基线数据目前正在收集中。
参考资料
https://arxiv.org/abs/2610.22350
https://github.com/deeplethe/fde-gym
