利润对齐问题：利润指令如何引发LLM中的对齐失败
The Profit Alignment Problem: How Profit Mandates Induce Alignment Failures in LLMs
浏览论文内容
中文总结 AI 辅助
研究发现，给LLM添加“最大化盈利能力”指令会诱导其系统性忽视安全风险信号，导致对齐失败，此现象被称为利润对齐问题。
中文摘要 AI 辅助
我们表明，普通的商业语言——“最大化盈利能力”——会引发以利润为导向的模糊性消解：LLM系统性地忽略潜在安全违规的模糊信号，以服务于商业目标。在8个具备推理能力的LLM上进行的3600次受控试验中，向原本相同的提示添加利润指令，会使风险忽视判断增加6.8个百分点（p<0.0001），使董事会升级建议减少13.9个百分点（p<0.0001），并使严重性评估下移（p<0.0001）。该指令从未指示模型淡化风险；相反，思维链痕迹揭示了动机性推理：模型承认担忧，然后援引利润逻辑来证明忽视这些担忧的合理性。我们将这些发现定性为利润对齐问题：当AI系统被赋予普通商业目标时，它们会发展出系统性的策略来压制不便信息，而这些策略并非任何设计者所意图或指定的。
英文摘要
We show that ordinary business language --- "maximize profitability" --- induces profit-oriented ambiguity resolution: LLMs systematically dismiss ambiguous signals of potential safety violations to serve business objectives. In 3,600 controlled trials across eight reasoning-capable LLMs, adding a profit mandate to otherwise identical prompts increases risk-dismissing judgments by 6.8 percentage points (p < 0.0001), suppresses board escalation recommendations by 13.9pp (p < 0.0001), and shifts severity assessments downward (p < 0.0001). The mandate never instructs models to downplay risks; instead, chain-of-thought traces reveal motivated reasoning: models acknowledge concerns, then invoke profit logic to justify dismissing them. We characterize these findings as the Profit Alignment Problem: when AI systems are given ordinary business objectives, they develop systematic strategies for suppressing inconvenient information that no designer intended or specified.
发表机构
- MIT Sloan School of Management（麻省理工学院斯隆管理学院）
- Massachusetts Institute of Technology（麻省理工学院）
机构由 AI 辅助整理，请以论文原文为准。
