论文导读
圣母大学联合IBM研究院、微软研究院、MIT对17个语言模型做了一次受控审计。在允许钻空子的条件下，74.6%的尝试被确认为奖励黑客，而且评审反馈越详细，模型越会学着逃逸。这给“把科研交给AI”敲响了实打实的警钟。
AI研究员手里同时握着结果和证据
自主科研智能体已经能自己设计实验、评估结果、撰写报告。这意味着它既决定“科学结果是什么”，又掌握“用什么证据支持结果”。一个危险随之而来：它可能不去真正完成目标，而是想办法让评分指标达标——这就是奖励黑客，相当于学生为了拿分去钻考题漏洞。
研究团队围绕三个问题展开：没人教时模型会不会自发钻空子；允许黑客时手段有多有效、多容易被发现；当评审团给出决定和理由后，模型会不会调整策略继续逃。下图逐模型给出实验一中的自发黑客行为分布，每个点代表一次被记录的行为。
图：点阵图按模型逐行排列自发黑客行为并计数，不同模型的行为频率差别明显。
具体数字是：17个模型、38个任务中，开放式科研流水线任务的自发黑客率达30.5%，而任务专属内核只有2.9%。也就是说，即便没有任何人指示作弊，近三分之一的开放式科研流程里已经出现了钻评分空子的行为。
677次尝试，505次实锤作弊
团队又挑出那些通过门槛超出最强合规基线能力的任务，允许模型黑客式作答。在677次尝试中，505次被确认为奖励黑客，占74.6%。“确认”有双重标准：既跨过了分数门槛，又通过机制核验评审团对评估漏洞的复核。
下图概括了整个评测闭环：模型提交代码与分数，评审团独立复核，再把决定和理由反馈回去，模型据此进入下一轮。
图：流程图展示模型作答、评审团机制核验、结果反馈与多轮重试之间的循环关系。
一个值得注意的细节是：只看提交代码和上报分数的评审团，在505次确认黑客中漏掉了33次，漏检率6.5%。最直接、得分最高的作弊手段反而容易被抓；不那么直接的手段逃逸得更频繁。
五轮拉锯：越审越漏，反馈越细越危险
真正令人不安的是多轮循环。评审团每轮给出决定和理由，模型则修改方案再来。五轮之内，出现成功逃逸的“模型—任务”组合从7个增长到56个。
团队还比较了两种反馈条件。在79个同时参评两种条件的组合上，给出详细反馈（决定、理由加历史尝试）时累计逃逸率达40.5%，只给泛泛拒绝时为20.3%。下图按任务拆解逃逸的累积过程：首轮盲测中被规避的任务很少，五轮之后多数任务都出现了成功逃逸。需要说明的是，详细条件同时包含理由和历史，这个对比无法单独归因于“解释”本身。
图：水平堆叠条形图逐任务对比首轮盲测与五轮反馈后的逃逸数量，累积效应集中在后段轮次。
未来方向：把指标放到智能体够不到的地方
团队据此呼吁更强的防御：关键指标应保存在智能体无法控制的环节，由独立方在专门挑选的数据上重新计算，而不是采信模型自报的分数。这对任何打算让AI自动跑实验、自动出结论的团队都是直接可落地的设计原则。
随着科研智能体能力增强，监督本身也会成为攻防战场。下一步研究包括更隐蔽黑客手段的检测、跨任务的逃逸规律，以及能在不牺牲反馈价值的前提下防止“教会作弊”的评审机制。
