The Pitfalls of Memorization: When Memorization Hurts Generalization
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);FAIR at Meta(Meta FAIR研究院);CIFAR(加拿大高级研究院)
该研究揭示神经网络中记忆与虚假相关性结合会损害泛化能力,提出记忆感知训练(MAT)方法,通过留出集预测信号调整模型logits,学习跨分布鲁棒模式,提升分布偏移下的泛化性能。
2024-12-10 cs.AI cs.LG stat.ML
ACE and Diverse Generalization via Selective Disagreement
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);AlignedAI(对齐人工智能);CentraleSupélec(中央超导学院);University of Oxford(牛津大学)
针对深度学习中完整虚假相关性导致的欠定泛化问题,本文提出ACE方法,通过自训练鼓励概念间自信且选择性分歧,在多个基准上优于现有方法,并支持先验编码与无监督模型选择。
2025-09-09 cs.AI cs.LG
On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization
Peking University(北京大学);New York University(纽约大学)
尽管在许多任务中取得了令人印象深刻的成功,但深度学习模型被证明依赖于虚假特征,当推广到分布外(OOD)数据时,这些特征将灾难性地失败。不变风险最小化算法(Invariant Risk Minimization,简称RISK)通过提取面向对象的领域不变特征来解决这一问题。然而,最近的工作表明,双折射仅对特定类型的分布偏移有效(例如,相关偏移)而对于其它情况则失败(例如,多样性转移)。与此同时,另一种方法,对抗训练(AT),表现出更好的域转移性能,这表明它有潜力成为提取域不变特征的有效候选者。本文探讨了这种可能性,通过探索的相似性之间的竞争和AT目标。受这种联系的启发,我们提出了域对抗训练(DAT),这是一种AT启发的方法,用于减轻特定于域的扰动引起的分布偏移。大量的实验表明,我们提出的DAT可以有效地去除领域变化的功能和提高OOD的泛化相关性和多样性的变化。
2022-12-18 cs.LG
Robustness, Privacy, and Generalization of Adversarial Training
University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
对抗性训练可以大大增强深度神经网络的鲁棒性,以抵抗对抗攻击。然而,一些工作表明,对抗性训练可能包括隐私保护和泛化能力。本文从理论和实证两个方面建立并量化了对抗训练中的隐私-鲁棒性权衡和泛化-鲁棒性权衡。我们首先定义了一个概念,{ \it robustized intensity}来衡量对抗训练算法的鲁棒性。该度量可以通过渐近一致的经验估计器{ \it经验鲁棒强度}来经验地近似。基于鲁棒强度,我们证明了:(1)对抗训练是$(\varepsilon, δ)$ -差分隐私的,其中差分隐私的大小与鲁棒强度呈正相关;(2)对抗训练的泛化误差可以由$\mathcal O(\sqrt{\log N}/N)$平均界和$\mathcal O(1/\sqrt{N})$高概率界来上界,这两个界都与鲁棒强度呈正相关.此外,我们的泛化边界不显式依赖于参数大小,这在深度学习中会非常大。在标准数据集CIFAR-10和CIFAR-100上的系统实验与我们的理论完全一致。源代码包可在\url{https://github.com/fshp971/RPG}上获得。
2020-12-25 cs.AI cs.CR cs.LG
Decorr: Environment Partitioning for Invariant Learning and OOD Generalization
Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院);School of Data Science, City University of Hong Kong(香港城市大学数据科学学院)
本文提出Decorr方法,通过将训练数据划分为低相关子集来构建环境,以增强不变学习在OOD泛化中的性能,缓解虚假相关并识别稳定预测器。
2024-05-22 cs.LG
Increasing Robustness to Spurious Correlations using Forgettable Examples
Microsoft Turing(微软图灵);Microsoft Research(微软研究院)
神经NLP模型往往依赖于标签和输入特征之间的虚假相关性来执行其任务。少数民族的例子,即,与存在于大多数数据点中的虚假相关性相矛盾的示例已经被证明增加了预先训练的语言模型的分布外泛化。在本文中,我们首先提出使用例子遗忘来找到少数的例子,而不需要事先知道数据集中存在的虚假相关性。遗忘的例子是在训练中学习然后忘记的例子,或者从来没有学习过的例子。我们经验性地展示了这些例子是如何与我们训练集中的少数民族相关的。然后,我们引入了一种新的方法,通过两次微调我们的模型来增强模型的鲁棒性,第一次是在完整的训练数据上,第二次是在少数数据上。当我们将我们的方法应用于MNLI,QQP和FEVER数据集时,我们在分布外泛化方面获得了实质性的改进。
2021-02-02 cs.CL cs.LG
DecAug: Out-of-Distribution Generalization via Decomposed Feature Representation and Semantic Augmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
虽然深度学习展示了其处理独立同分布(IID)数据的强大能力,但它经常遭受分布外(OoD)泛化,其中测试数据来自另一个分布(w.r.t.训练1)。设计一个通用的面向对象的推广框架,以广泛的应用是具有挑战性的,主要是由于在现实世界中可能的相关性和多样性的转变。以往的方法大多只能解决一个特定的分布偏移,如跨域偏移或相关外推。为了解决这个问题,我们提出了DecAug,一种新的分解特征表示和语义增强方法,用于OoD泛化。DecAug解开了类别相关和上下文相关的特征。类别相关特征包含目标对象的因果信息,而上下文相关特征描述属性、风格、背景或场景,导致训练数据和测试数据之间的分布偏移。分解通过正交化两个梯度(w.r.t.中间特征)的损失,用于预测类别和上下文标签。此外,我们执行基于梯度的增强上下文相关的功能,以提高学习表示的鲁棒性。实验结果表明,DecAug在各种OoD数据集上的性能优于其他最先进的方法,这是为数不多的可以处理不同类型的OoD泛化挑战的方法之一。
2020-12-17 cs.LG
Does Weak-to-strong Generalization Happen under Spurious Correlations?
本文研究了在存在伪相关性的情况下,通过强预训练学生在下游任务中使用伪标签进行弱到强泛化是否发生,并提出改进方法。
2026-03-19 cs.LG stat.ML
Disentanglement and Generalization Under Correlation Shifts
University of Tübingen(图宾根大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
变异因素之间的相关性在真实世界的数据中很普遍。利用这种相关性可以提高对噪声数据的预测性能;然而,通常相关性不是鲁棒的(例如,它们可能在域、数据集或应用程序之间改变),并且当相关性改变时,利用它们的模型不会泛化。解纠缠方法旨在学习在潜在子空间中捕获不同变化因素的表示。一种常见的方法涉及最小化潜在子空间之间的互信息,使得每个潜在子空间编码单个底层属性。但是,当属性相关时,这会失败。我们解决这个问题,通过强制执行的子空间之间的独立性的条件下,可用的属性,这使我们能够删除的依赖关系,而不是由于存在于训练数据的相关性结构。我们通过对抗的方法来实现这一点,以最小化子空间之间的条件互信息(CMI)相对于分类变量。我们首先从理论上表明,CMI最小化是一个很好的目标强大的解纠缠线性问题。然后,我们将我们的方法应用于基于MNIST和CelebA的真实世界数据集,并表明它产生的模型在相关性偏移下是解纠缠和鲁棒的,包括在弱监督设置中。
2022-12-23 cs.CV cs.LG stat.ML
Improving Multi-Task Generalization via Regularizing Spurious Correlation
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
多任务学习(MTL)是一种通过知识共享来提高泛化性能的强大学习范式。然而,现有的研究发现,MTL有时会损害概括,特别是当两个任务相关性较低时。损害泛化的一个可能原因是虚假相关,即,有些知识是虚假的,与任务标签没有因果关系,但模型可能错误地利用它们,因此当这种相关性发生变化时,模型就会失败。在MTL设置中,存在伪相关的几个独特挑战。首先,具有非因果知识的风险更高,因为共享的MTL模型需要对来自不同任务的所有知识进行编码,并且一个任务的因果知识可能对另一个任务是虚假的。第二,任务标签之间的混淆给MTL带来了不同类型的虚假相关。我们从理论上证明了MTL比单任务学习更倾向于从其他任务中获取非因果知识,从而概括性更差。针对这一问题,本文提出了多任务因果表示学习框架,旨在通过分解神经模块来表示多任务知识,并通过特定于MTL的不变正则化来学习哪个模块与每个任务有因果关系。实验结果表明,通过缓解虚假相关问题,MTL模型的性能比Multi-MNIST,MovieLens,Taskonomy,CityScape和NYUv 2平均提高了5.5%。
2022-11-24 cs.AI cs.LG
Diversity Boosted Learning for Domain Generalization with Large Number of Domains
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Tencent AI Lab(腾讯人工智能实验室)
最小化平均训练损失的机器学习算法通常由于对训练数据之间的相关性的贪婪利用而遭受较差的泛化性能,这些相关性在分布移位下是不稳定的。它启发了领域泛化(DG)的各种工作,其中一系列方法,如因果匹配和FISH,通过成对的领域操作来工作。它们将需要对$n$域进行$O(n^2)$成对域操作,其中每一个操作通常都非常昂贵。此外,虽然DG文献中的一个共同目标是学习不变表示对域引起的虚假相关性,我们强调减轻虚假相关性所造成的对象的重要性。基于多样性有助于减轻虚假相关性的观察,我们提出了一个多样性增强的两级采样框架(DOMI)利用确定性点过程(DPPs),以有效地采样最丰富的领域之间的大量。我们表明,DOMI有助于训练强大的模型,从域侧和对象侧的虚假相关性,大大提高了性能的骨干DG算法旋转MNIST,旋转时尚MNIST,iwildcam数据集。
2022-07-28 cs.LG
Breaking Correlation Shift via Conditional Invariant Regularizer
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
近年来,对具有相关位移的分布外(OOD)数据的推广引起了广泛的关注。相关性偏移是由与类标签相关的虚假属性引起的,因为它们之间的相关性在训练和测试数据中可能会有所不同。对于这样的问题,我们表明,给定的类标签,有条件地独立于虚假属性的模型是OOD推广。在此基础上,提出了一种控制OOD泛化误差的度量条件伪变差(CSV)来度量这种条件独立性。为了提高OOD的泛化能力,我们使用建议的CSV规范了训练过程。在温和的假设下,我们的训练目标可以被公式化为一个非凸-凹极小-极大问题。提出了一个具有可证明收敛速度的算法来求解该问题。大量的实验结果验证了我们的算法在提高OOD推广的有效性。
2023-02-24 cs.LG
Correlation-aware Adversarial Domain Adaptation and Generalization
Queensland University of Technology(昆士兰科技大学);University of Queensland(昆士兰大学)
领域自适应(DA)和领域泛化(DG)已经出现作为对源数据和目标数据的分布不同的领域移位问题的解决方案。DG的任务比DA更具挑战性,因为在DG场景的训练阶段,目标数据是完全不可见的。目前最先进的采用对抗技术,然而,这些很少被认为是DG问题。此外,这些方法不考虑相关对齐,这已被证明是非常有益的最小化域差异。在本文中,我们提出了一个相关性感知的对抗DA和DG框架,其中使用相关性对齐以及对抗学习来最小化源和目标数据的特征。将相关性对齐模块与对抗性学习一起使用有助于实现更加领域不可知的模型,因为改进了更有效地减少与未标记目标数据的领域差异的能力。在基准数据集上的实验证明,我们提出的方法可以提高最先进的性能。
2019-11-29 cs.CV cs.LG
Direct-Effect Risk Minimization for Domain Generalization
Peking University(北京大学);University of Waterloo(滑铁卢大学)
我们研究了分布外(o.o.d.)泛化,其中属性的虚假相关性在训练和测试域中变化。这被称为相关性偏移问题,并对机器学习的可靠性提出了担忧。在这项工作中,我们引入了因果推理的直接和间接影响的概念,领域泛化问题。我们认为,学习直接效应的模型可以最大限度地降低相关性转移域中的最坏情况风险。为了消除间接影响,我们的算法包括两个阶段:在第一阶段,我们通过使用表示和类标签最小化域标签的预测误差来学习间接影响表示;在第二阶段,我们通过将每个数据与另一个类似的间接数据相匹配,效果表示,但在训练和验证阶段使用不同的类标签。我们的方法被证明是兼容现有的方法,并提高他们的相关移位数据集的泛化性能。在5个相关移位数据集和DomainBed基准测试上的实验验证了该方法的有效性。
2023-03-16 cs.AI cs.LG
The Randomness of Input Data Spaces is an A Priori Predictor for Generalization
Johannes Gutenberg-University(约翰内斯·古腾堡大学)
过参数化模型可以完美地学习各种类型的数据分布,然而,与人工数据相比,真实数据的泛化误差通常较低。这表明数据分布的性质对泛化能力有影响。这项工作的重点是由输入数据定义的搜索空间,并假设相邻输入值的标签之间的相关性影响泛化。如果相关性低,则输入数据空间的随机性高,导致高的泛化误差。我们建议使用Maurer的泛函数来度量输入数据空间的随机性。合成分类任务和常见图像分类基准(MNIST、CIFAR10和微软的猫与狗数据集)的结果发现,输入数据空间的随机性与深度神经网络的泛化误差之间存在高度相关性。
2022-07-27 cs.LG cs.NE
Invariant Correlation of Representation with Label: Enhancing Domain Generalization in Noisy Environments
Chinese Academy of Sciences(中国科学院);University of Liverpool(利物浦大学);Southeast University(东南大学)
针对噪声环境中IRM相关方法因优化方向错误无法获得最优解的问题,提出ICorr方法,从因果视角证明其不变相关性是最优不变预测器的必要条件,并通过实验验证其在噪声数据集上的域泛化有效性。
2025-02-09 cs.AI cs.LG
Revisiting Spurious Correlation in Domain Generalization
Institute of Software(软件研究所);Chinese Academy of Sciences(中国科学院)
本文针对域泛化中的虚假相关性问题,为表示学习过程构建 SCM,并提出可即插即用的倾向得分加权估计量以控制混杂偏差,实验验证其有效性。
2024-06-17 cs.AI cs.LG
Understanding Domain Generalization: A Noise Robustness Perspective
National University of Singapore(新加坡国立大学)
本文从标签噪声视角探究域泛化算法优于经验风险最小化的原因,发现DG算法具有隐式噪声鲁棒性,但真实基准上其性能优势并不明显。
2024-03-18 cs.CV cs.LG
Are Domain Generalization Benchmarks with Accuracy on the Line Misspecified?
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
本文指出流行OOD基准因未包含损害泛化的虚假相关性偏移而被错误设定,导致ERM表现优异且“准确性在线性关系上”现象出现;作者推导了揭示虚假依赖的条件,审查数据集并提出设计原则。
2025-08-02 cs.AI cs.LG stat.ML
How Many Independent Samples Does a Satellite Image Contain? Generalization Bounds for Spatially Dependent Data
University of Cambridge(剑桥大学)
本文证明卫星图像的有效样本量为$\Theta(n^2/r^2)$,提出紧的泛化界,并论证空间交叉验证的合理性,在合成数据及三个传感器图像上验证。
2026-10-07 cs.CV cs.LG stat.ML
An Empirical Study on Robustness to Spurious Correlations using Pre-trained Language Models
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Amazon AI(亚马逊人工智能);New York University(纽约大学)
最近的工作表明,预先训练的语言模型(如BERT)提高了对数据集中虚假相关性的鲁棒性。被这些结果所吸引,我们发现他们成功的关键是从少量的反例中推广,其中虚假的相关性不成立。当这样的少数例子很少时,预先训练的模型表现得和从头开始训练的模型一样差。在极端少数的情况下,我们建议使用多任务学习(MTL)来提高泛化能力。我们对自然语言推理和释义识别的实验表明,MTL与正确的辅助任务显着提高了具有挑战性的例子的性能,而不会损害分布性能。此外,我们表明,从MTL的增益主要来自于改进的推广少数的例子。我们的研究结果突出了数据多样性的重要性,克服虚假的相关性。
2020-08-11 cs.CL cs.LG
Towards Understanding the Generalization Bias of Two Layer Convolutional Linear Classifiers with Gradient Descent
Carnegie Mellon University(卡内基梅隆大学)
理解深度学习泛化的一个主要挑战是解释为什么(随机)梯度下降可以利用网络架构找到在使用高容量模型时具有良好泛化性能的解决方案。我们发现简单但现实的例子表明,即使在学习线性分类器时也存在这种现象-在两个具有相同容量的线性网络之间,当数据分布具有某种潜在的空间结构时,具有卷积层的网络可以比另一个网络更好地泛化。我们认为,这种差异是由卷积架构、数据分布和梯度下降的组合造成的,所有这些都是有意义的分析所必需的。我们提供了一个一般的分析的泛化性能作为数据分布和卷积滤波器大小的函数,给定的梯度下降的优化算法,然后解释使用具体的例子的结果。实验结果表明,我们的分析是能够解释发生在我们介绍的例子。
2019-02-10 cs.LG stat.ML
From Linear to Nonlinear: Provable Weak-to-Strong Generalization through Feature Learning
KAIST(韩国科学技术院)
该研究针对弱到强泛化理论局限于线性模型的问题,对线性CNN到两层ReLU CNN的泛化展开形式化分析,划分数据稀缺与充足两种模式并揭示对应泛化机制,为理解非线性模型的弱到强泛化提供理论支撑。
2025-10-28 cs.LG stat.ML
CODA: Temporal Domain Generalization via Concept Drift Simulator
Texas A&M University(德州农工大学);Rice University(莱斯大学)
针对机器学习模型因概念漂移易过时且现有方法多依赖特定模型的问题,提出模型无关的CODA框架,通过预测特征相关矩阵模拟未来数据训练模型,有效实现跨架构时域泛化。
2023-10-02 cs.LG stat.ML
SCL-GNN: Towards Generalizable Graph Neural Networks via Spurious Correlation Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
SCL-GNN通过学习并缓解虚假相关性提升图神经网络在不同分布下的泛化能力。
2026-03-09 cs.AI cs.LG
Graph-Based Adversarial Domain Generalization with Anatomical Correlation Knowledge for Cross-User Human Activity Recognition
The University of Auckland(奥克兰大学)
本文提出 GNN-ADG 方法,通过图神经网络建模传感器解剖关联并引入对抗域泛化,以解决跨用户人体活动识别中的用户差异问题,实现无需目标用户数据的稳健泛化。
2025-05-08 cs.AI cs.LG
Transformer Block Coupling and its Correlation with Generalization in LLMs
University of Toronto(多伦多大学)
本文通过分析token嵌入轨迹和雅可比矩阵,发现了transformer块耦合现象,该现象与LLMs及ViTs的泛化能力呈强正相关,为理解模型机制提供了新视角。
2025-03-05 cs.AI cs.CL cs.LG
Learning Fair Invariant Representations under Covariate and Correlation Shifts Simultaneously
Tianjin University(天津大学);Baylor University(贝勒大学)
针对现有公平感知域泛化方法鲜少同时兼顾协变量与相关偏移的问题,提出一种通过潜在空间解耦、消减敏感信息学习公平域不变表示的方法,在准确率与公平性上均超越SOTA。
2024-08-18 cs.AI cs.CY cs.LG
Learning Causal Models Online
University of Alberta(阿尔伯塔大学);MILA(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学)
预测模型--从不覆盖完整数据分布的观测数据中学习--可以依赖数据中的虚假相关性来进行预测。这些相关性使得模型脆弱,并阻碍了推广。实现强泛化的一个解决方案是在模型中加入因果结构;这种结构通过忽略与它们相矛盾的相关性来约束学习。然而,学习这些结构本身就是一个难题。此外,如何将因果关系机制与在线持续学习结合起来还不清楚。在这项工作中,我们采取间接的方法来发现因果模型。而不是直接搜索真正的因果模型,我们提出了一个在线算法,不断检测和删除虚假的功能。我们的算法的工作原理的想法,一个虚假的功能与目标的相关性是不恒定的随着时间的推移。因此,与该特征相关联的权重不断变化。我们表明,通过不断删除这些功能,我们的方法收敛到具有很强的泛化的解决方案。此外,我们的方法与随机搜索相结合,也可以发现非虚假的功能,从原始的感官数据。最后,我们的工作强调了问题的时间结构中存在的信息-通过洗牌数据被破坏-对于在线检测虚假特征至关重要。
2020-06-12 cs.AI cs.LG stat.ML
Selecting Data Augmentation for Simulating Interventions
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
用纯观察数据和经验风险最小化原则\citep{vapnik_principles_1992}训练的机器学习模型可能无法推广到看不见的领域。在本文中,我们专注于问题出现的情况下,通过虚假的相关性观察到的领域和实际的任务标签。我们发现,许多域泛化方法没有明确考虑到这种虚假的相关性。相反,特别是在更面向应用的研究领域,如医学成像或机器人技术,数据增强技术是基于几何学用于学习域不变特征。为了弥合理论和实践之间的差距,我们开发了一个因果关系的角度来看问题的领域泛化。我们认为,因果关系的概念可以用来解释成功的数据增强描述他们如何可以削弱观察到的领域和任务标签之间的虚假相关性。我们证明了数据增强可以作为模拟介入数据的工具。我们使用这些理论的见解,推导出一个简单的算法,能够选择数据增强技术,这将导致更好的域泛化。
2020-10-26 cs.CV cs.LG stat.ML
Learning from Teaching Regularization: Generalizable Correlations Should be Easy to Imitate
Rutgers University(罗格斯大学);Nvidia Research(英伟达研究院);University of Connecticut(康涅狄格大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Stanford University(斯坦福大学)
针对机器学习模型泛化难题,本文提出新型正则化技术LoT,通过辅助学生学习器与主模型的教学反馈循环捕捉可泛化相关性,在多领域实验中效果显著,可有效剔除虚假相关性。
2024-10-31 cs.AI cs.LG
FairDropout: Using Example-Tied Dropout to Enhance Generalization of Minority Groups
Concordia University(康考迪亚大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
针对深度学习模型在少数群体泛化能力差的问题,提出FairDropout方法,通过示例绑定的Dropout将少数群体实例的记忆重定向到特定神经元并在推理时丢弃,显著降低对虚假相关性的依赖,优于现有方法。
2025-02-10 cs.LG
Bad Habits: Policy Confounding and Out-of-Trajectory Generalization in RL
Phaidra(菲德拉);Delft University of Technology(代尔夫特理工大学)
本文针对强化学习中智能体因策略收敛形成依赖特定轨迹的虚假关联习惯、偏离轨迹时表现失效的策略混淆问题,给出了该现象的数学刻画并通过示例说明其发生条件。
2024-06-24 cs.LG
In-Context Learning of Linear Systems: Generalization Theory and Applications to Operator Learning
School of Mathematics, University of Minnesota(明尼苏达大学数学学院);Department of Mathematics and Statistics, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校数学与统计学系)
本文研究线性Transformer在上下文中求解线性系统的泛化理论,提出任务多样性作为域外泛化的充要条件,并应用于PDE算子学习,数值实验验证了理论。
2025-05-23 cs.LG cs.NA math.NA
On the Dynamics of Delayed Generalization in Linear Models
Department of XXX, University of YYY, Location, Country(YYY大学XXX系);School of ZZZ, Institute of WWW, Location, Country(WWW研究所ZZZ学院);Indian Institute of Technology Madras, Chennai(马德拉斯印度理工学院)
研究揭示了线性模型中逻辑回归的grokking现象,通过分析梯度下降隐含偏置的三阶段学习过程,发现延迟泛化现象可通过支撑向量分布和数据不对称性产生,无需深度或表示学习。
2026-10-15 cs.AI cs.LG