发表机构
University of California, Los Angeles; Purdue University（加利福尼亚大学洛杉矶分校; 普渡大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
研究虚假相关性下数据不平衡对模型泛化的影响，通过改变虚假比率和模型容量发现数据不平衡能促进强大模型泛化，如合成任务中2层变压器在特定虚假比率下泛化效果提升，还通过机制分析找到相关途径。
AI 中文摘要
我们研究了虚假相关性下的稳健泛化：在这些任务中，一个捷径特征在训练中与真实标签相关，但在对抗性留出分割中呈反相关。通过改变虚假比率\(r\)（捷径 = 真实标签的训练示例的比例）和模型容量，我们发现了一个违反直觉的结果：数据不平衡促进了足够强大模型的泛化。在一个合成任务中，真实标签是整数序列的和奇偶性，捷径是最大值元素的奇偶性，一个2层、2头的变压器在\(r = 0.50\)时，0%的种子实现了泛化（达到100%的对抗准确率），但在\(r = 0.90\)时，77%的种子实现了泛化。在1层模型中没有这种效果，不平衡反而使模型陷入捷径。通过机制分析——梯度冲突动态、电路演化和QK/OV电路消融——我们描述了一条与不平衡促进泛化一致的机制途径。
英文摘要
We study robust generalization under spurious correlations: tasks where a shortcut feature is correlated with the true label in training but anti-correlated in an adversarial held-out split. Varying the spurious ratio $r$ (the fraction of training examples where shortcut = true label) and model capacity, we find a counterintuitive result: data imbalance promotes generalization in sufficiently capable models. On a synthetic task where the true label is sum parity of an integer sequence and the shortcut is the parity of the maximum-valued element, a 2-layer, 2-head transformer generalized (reached $100\%$ adversarial accuracy) in 0% of seeds at $r{=}0.50$ but 77% of seeds at $r{=}0.90$. The effect is absent in 1-layer models, where imbalance instead traps the model on the shortcut. Through mechanistic analysis -- gradient conflict dynamics, circuit evolution, and QK/OV circuit ablations -- we characterize a mechanistic pathway consistent with imbalance promoting generalization.
