Recent advances in CV and NLP have been largely driven by scaling up the number of network parameters, despite traditional theories suggesting that larger networks are prone to overfitting. These large networks avoid overfitting by integrating components that induce a simplicity bias, guiding models toward simple and generalizable solutions. However, in deep RL, designing and scaling up networks have been less explored. Motivated by this opportunity, we present SimBa, an architecture designed to scale up parameters in deep RL by injecting a simplicity bias. SimBa consists of three components: (i) an observation normalization layer that standardizes inputs with running statistics, (ii) a residual feedforward block to provide a linear pathway from the input to output, and (iii) a layer normalization to control feature magnitudes. By scaling up parameters with SimBa, the sample efficiency of various deep RL algorithms-including off-policy, on-policy, and unsupervised methods-is consistently improved. Moreover, solely by integrating SimBa architecture into SAC, it matches or surpasses state-of-the-art deep RL methods with high computational efficiency across DMC, MyoSuite, and HumanoidBench. These results demonstrate SimBa's broad applicability and effectiveness across diverse RL algorithms and environments.
R2R2: Robust Representation for Intensive Experience Reuse via Redundancy Reduction in Self-Predictive Learning
Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能交叉学科项目，首尔国立大学）；Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学）
A Forget-and-Grow Strategy for Deep Reinforcement Learning Scaling in Continuous Control
Computer Science, University of Maryland（大学计算机科学系，马里兰大学）；Shanghai Qi Zhi Institute（上海启智研究院）；Department of Computer Science（计算机科学系）；Technology, Tsinghua University（技术，清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（交叉信息科学研究所，清华大学）；Huawei Noah's Ark Lab（华为诺亚实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Bias no more: high-probability data-dependent regret bounds for adversarial bandits and MDPs
University of Southern California（南加利福尼亚大学）
我们开发了一种新的方法来获得高概率后悔界的在线学习与强盗反馈对自适应对手。虽然现有的方法都需要仔细构建乐观和有偏的损失估计，我们的方法使用标准的无偏估计，并依赖于一个简单的增加学习率调度的时间表，连同帮助下，数学上同质的自我和谐的障碍和加强弗里德曼的不等式。除了它的简单性，我们的方法享有几个优点。首先，获得的高概率后悔界限是数据依赖的，可能比最坏情况下的界限小得多，这解决了Neu（2015）提出的一个开放问题。其次，解决Bartlett et al.（2008）和Abernethy and Rakhlin（2009）的另一个开放问题，我们的方法导致了第一个通用且有效的算法，具有对抗性线性强盗的高概率后悔界，而以前的方法要么效率低下，要么只适用于特定的动作集。最后，我们的方法也可以应用于学习对抗马尔可夫决策过程，并为这个问题提供了第一个具有高概率小损失界的算法。
CrossQ: Batch Normalization in Deep Reinforcement Learning for Greater Sample Efficiency and Simplicity
Intelligent Autonomous Systems, TU Darmstadt（达姆施塔特工业大学智能自主系统研究所）；University of Freiburg（弗莱堡大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）
The Pitfalls of Simplicity Bias in Neural Networks
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
一些研究提出了简单性偏差（SB）--标准训练程序（如随机梯度下降（SGD））寻找简单模型的趋势--来证明为什么神经网络泛化良好[Arpit et al. 2017，Nakkiran et al. 2019，Soudry et al. 2018]。然而，简单性的确切概念仍然模糊。此外，以前使用SB从理论上证明神经网络泛化能力良好的设置没有同时捕获神经网络的非鲁棒性--这是一种在实践中广泛观察到的现象[Goodfellow et al. 2014，Jo and Bengio 2017]。我们试图通过设计数据集来协调SB和神经网络的高级标准泛化与实践中观察到的非鲁棒性，这些数据集（a）包含精确的简单性概念，（b）包含具有不同简单性水平的多个预测特征，（c）捕获在真实数据上训练的神经网络的非鲁棒性。通过对这些数据集的理论和分析，我们得出了四个观察结果：（i）SGD和变体的SB可能是极端的：神经网络可以完全依赖于最简单的特征，并且对所有预测性复杂特征保持不变。(ii)SB的极端方面可以解释为什么看似良性的分布偏移和小的对抗性扰动会显著降低模型性能。(iii)与传统观点相反，SB也会损害相同数据分布的泛化，因为即使最简单的特征的预测能力低于更复杂的特征，SB也会持续存在。(iv)提高泛化和鲁棒性的常用方法--集成和对抗训练--可能无法减轻SB及其陷阱。鉴于SB在训练神经网络中的作用，我们希望所…
Masked Autoencoders that Feel the Heart: Unveiling Simplicity Bias for ECG Analyses
State Key Laboratory of Digital Medical Engineering, Southeast University（数字医疗工程国家重点实验室，东南大学）；School of Instrument Science and Engineering, Southeast University（仪器科学与工程学院，东南大学）；School of Computer Science and Engineering, Southeast University（计算机科学与工程学院，东南大学）
Distributional simplicity bias and effective convexity in Energy Based Models
Escuela Técnica Superior de Ingenieros Industriales Universidad Politécnica de Madrid（工业工程高级技术学校马德里理工大学）；Departamento de Física Teórica Universidad Complutense de Madrid（理论物理系马德里圣伊萨贝尔大学）；IPARCOS Universidad Complutense de Madrid（IPARCOS马德里圣伊萨贝尔大学）
The shape and simplicity biases of adversarially robust ImageNet-trained CNNs
Auburn University（奥本大学）
在过去的几年里，人类视觉和卷积神经网络（CNN）之间的相似性越来越多。然而，普通CNN通常无法推广到人类表现出优越性能的对抗性或分布外（OOD）示例。对抗性训练是一种领先的学习算法，用于提高CNN对对抗性和OOD数据的鲁棒性;然而，人们对这些特性知之甚少，特别是对抗性强的CNN内部学习到的形状偏差和内部特征。在本文中，我们进行了一项全面、系统的研究，以了解形状偏差和一些内部机制，这些机制使AlexNet、GoogLeNet和ResNet-50模型能够通过对抗训练进行泛化。我们发现，虽然标准的ImageNet分类器具有很强的纹理偏差，但它们的R对应项严重依赖于形状。值得注意的是，对抗性训练在“鲁棒化”CNN的过程中会将三种简单性偏差引入隐藏的神经元。也就是说，R网络中的每个卷积神经元经常改变为检测（1）逐像素的更平滑模式，即，一种阻止高频噪声通过网络的机制;（2）更多的低级特征，即纹理和颜色（而不是对象）;（3）更少的输入类型。我们的研究结果揭示了使网络更具对抗性的有趣机制，也解释了最近的一些发现，例如，为什么R网络受益于更大的容量（Xie et al. 2020），并且可以在图像合成中充当强图像先验（Santurkar et al. 2019）。
Delving Deep into Simplicity Bias for Long-Tailed Image Recognition
Nanjing University of Science and Technology（南京理工大学）；University of Toronto（多伦多大学）；University of Wollongong（伍伦贡大学）；Qingdao AInnovation Technology Group Co., Ltd.（青岛创新奇智科技集团股份有限公司）
Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits
School of Electrical and Computer Engineering, Georgia Institute of Technology, Atlanta, GA 30332, USA（电子与计算机工程系，佐治亚理工学院）；NVIDIA Research, Santa Clara, CA 95051, USA（NVIDIA研究）；IBM Thomas J. Watson Research Center, NY, 10598, USA（IBM托马斯·J·沃森研究中心）；Hon Hai (Foxconn) Quantum Computing Research Center, Taipei, 114, Taiwan（鸿海（富士康）量子计算研究中心）
Neural networks trained with SGD learn distributions of increasing complexity
Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris-Diderot（巴黎第七大学）；École Fédérale Polytechnique de Lausanne (EPFL)（洛桑联邦理工学院）；The Abdus Salam International Centre for Theoretical Physics (ICTP)（阿卜杜勒·萨拉姆国际理论物理中心）；International School of Advanced Studies (SISSA)（国际高等研究院）
Principal Components Bias in Over-parameterized Linear Models, and its Manifestation in Deep Neural Networks
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；The School of Computer Science and Engineering（计算机科学与工程学院）；Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨弗拉脑科学中心）
