Beyond Arbitrary Geometry: Topology Generalization In neural PDE Operators
Tsinghua University(清华大学)
本研究通过TopoBox-3D基准和Hodge热流分析,证明拓扑是神经PDE算子泛化的独立轴,其影响遍及谱域,TNO在非调和精度上表现最优。
2026-09-15 cs.LG
On the Rademacher Complexity of Graph Neural Networks: Unifying Expressivity and Geometry
University of Fribourg(弗里堡大学);Johns Hopkins University(约翰·霍普金斯大学);Université Paris-Saclay(巴黎萨克雷大学);University of Ferrara(费拉拉大学);Technical University of Munich(慕尼黑技术大学);University of Siena(锡耶纳大学)
该研究针对图神经网络(GNNs)泛化与表达性的权衡,采用依赖数据的经验拉德马赫复杂度,推导结合GNN表达力与输入空间几何的紧泛化界,扩展至任意GNN架构,助力GNN泛化统一理论构建。
2026-07-30 cs.LG
How to Tame Grokking: Representation Geometry as a Control Signal
研究神经网络‘顿悟’现象中表示几何与延迟泛化的关系,引入几何维度正则化方法,发现其能改变‘顿悟’动态,加速泛化,为研究和影响神经网络延迟泛化提供实用途径。
2026-07-14 cs.LG
Adversarial Networks and Autoencoders: The Primal-Dual Relationship and Generalization Bounds
Australian National University(澳大利亚国立大学);Data61;University of Sydney(悉尼大学)
自从引入生成对抗网络(GANs)和变分自编码器(VAE)以来,关于生成建模的文献已经出现了压倒性的复苏。GANs令人印象深刻但难以捉摸的经验性能导致了许多GAN-VAE混合动力的兴起,希望GAN级别的性能和VAE的额外好处,例如用于特征减少的编码器,这是GANs所不提供的。最近,Wasserstein自动编码器(WAE)被提出,实现了与GANs相似的性能,但目前还不清楚两者是否有本质上的不同,或者可以进一步改进为一个统一的模型。在这项工作中,我们研究了$f$ -GAN和WAE模型,并取得了两个主要发现。首先,我们发现$f$ -GAN和WAE目标参与了一个原始-对偶关系,并在一些假设下是等价的,这使我们能够解释WAE的成功。其次,等价结果使我们能够,第一次,证明泛化界的自动编码器模型,这是一个相关的问题,当谈到生成模型的理论分析。此外,我们表明,WAE目标是相关的其他统计量,如$f$的分歧,特别是上界的瓦瑟斯坦距离,然后让我们利用现有的高效(正则化)的最佳运输求解器。因此,我们的研究结果提出了GANs和Autoencoder模型之间的第一个原始-对偶关系,评论了泛化能力,并朝着统一这些模型迈出了一步。
2019-04-26 cs.LG stat.ML
Towards Understanding the Relationship between In-context Learning and Compositional Generalization
dot Inc.(42dot公司);University of Stuttgart(斯图加特大学)
本文假设强制上下文学习能提供归纳偏置以促进组合泛化,通过打乱训练顺序和标签训练因果Transformer,在SCAN、COGS和GeoQuery上验证了该方法确实提升了组合泛化能力。
2024-03-18 cs.CL cs.LG
Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs
Arizona State University(亚利桑那州立大学)
本研究拓展ReLU转移图框架为分析深度ReLU网络的图论模型,证明其随机初始化下的结构特性,推导容量与泛化界,经实验验证相关结论,为理解和改善ReLU网络泛化提供了离散泛函几何视角的新工具。
2025-09-04 cs.LG
Multiclass Loss Geometry Matters for Generalization of Gradient Descent in Separable Classification
Blavatnik School of Computer Science, Tel Aviv University(塔夫茨大学布劳维特克计算机科学学院);Google Research(谷歌研究)
研究可分线性分类中无正则化梯度方法的泛化性能,证明收敛速率受损失模板几何性质而非损失函数本身影响,并建立了多分类设置下基于 $p$-范数平滑模板的风险上下界。
2025-05-28 cs.LG
On the Strong Correlation Between Model Invariance and Generalization
Australian National University(澳大利亚国立大学)
泛化和不变性是任何机器学习模型的两个基本属性。泛化捕获模型对不可见数据进行分类的能力,而不变性则度量模型预测对数据转换的一致性。现有的研究表明,一个积极的关系:一个模型推广以及应该是不变的某些视觉因素。在此基础上,我们做了两个贡献。首先,我们引入了有效不变性(EI),这是一种简单合理的模型不变性度量,不依赖于图像标签。给定对测试图像及其转换版本的预测,EI测量预测的一致性以及置信度。第二,使用EI计算的不变性分数,我们进行大规模的定量相关性研究之间的泛化和不变性,重点是旋转和灰度变换。从以模型为中心的角度来看,我们观察到不同模型的泛化和不变性在分布内和分布外数据集上都表现出很强的线性关系。从以数据集为中心的角度来看,我们发现在不同的测试集上,某个模型的准确性和不变性线性相关。除了这些主要的发现,其他次要的,但有趣的见解也进行了讨论。
2022-07-14 cs.LG
Cross-Dataset Generalization in Deep Learning
Shanghai Institute of Optics and Fine Mechanics, Chinese Academy of Sciences(中国科学院上海光学精密机械研究所);University of Shanghai for Science and Technology(上海理工大学);The Hong Kong Polytechnic University(香港理工大学);University of Chinese Academy of Science(中国科学院大学)
本研究针对深度学习跨数据集泛化问题,发现网络学到的是依赖训练集的近似映射,通过增强训练数据多样性可改善近似并实现跨数据集泛化。
2024-10-15 cs.LG physics.optics
Zero Generalization Error Theorem for Random Interpolators via Algebraic Geometry
The University of Tokyo(东京大学);Kyoto University(京都大学);RIKEN AIP(日本电子科学技术研究所)
该研究通过代数几何工具证明,在教师-学生框架下,当训练样本超过阈值时,随机插值器的泛化误差为零。
2025-12-06 cs.LG stat.ML
Overfitting of Spectral Gradient Descent: How Matrix Geometry shapes Generalization and Implicit Bias
RIKEN AIP(理化学研究所先进智能项目中心);University of Toronto(多伦多大学);University of Tokyo(东京大学);Kyoto University(京都大学)
本文研究谱梯度下降在过参数化矩阵分类中的泛化,发现捷径几何(聚集或分散)可逆转其与GD的相对优势,并揭示单步SpecGD即可良好泛化而持续训练反而恶化。
2026-09-29 cs.LG stat.ML
Operator Learning with Domain Decomposition for Geometry Generalization in PDE Solving
Corporate Research, Bosch (China) Investment Co., Ltd.(博世(中国)投资有限公司企业研究部)
本文提出一种基于域分解的运算学习框架,通过局部到全局的方法解决任意几何上的PDEs,提升几何泛化能力与数据效率。
2026-02-27 cs.AI cs.LG
Generalization Below the Edge of Stability: The Role of Data Geometry
UC San Diego(圣迭戈大学)
本文研究了过参数化神经网络中数据几何对泛化能力的影响,通过理论分析揭示了数据几何如何控制隐式偏置,提出在稳定性边缘以下的两层ReLU网络的泛化界限,并探讨了梯度下降在不同数据分布下的学习机制。
2026-05-07 cs.LG stat.ML
Out-of-distribution Generalization in the Presence of Nuisance-Induced Spurious Correlations
New York University(纽约大学);Langone Health(朗格尼医学中心)
在许多预测问题中,虚假的相关性是由标签和一个讨厌的变量之间的关系变化引起的,这个讨厌的变量也与协变量相关。例如,在对自然图像中的动物进行分类时,作为干扰的背景可以预测动物的类型。这种滋扰-标签关系并不总是成立的,并且在一种这样的关系下训练的模型的性能在具有不同滋扰-标签关系的数据上可能很差。为了建立无论滋扰标签关系如何都能表现良好的预测模型,我们开发了滋扰随机蒸馏(Nuisance-Randomized Distillation,简称NZD)。我们介绍了滋扰随机分布,滋扰和标签是独立的分布。在这种分布下,我们定义了一组表示,使条件的任何成员,滋扰和标签保持独立。我们证明了在这个集合中的表示总是比机会表现得更好,而在这个集合之外的表示可能不会。CNOD发现一个表示,从这个集合中,是最有用的滋扰随机分布下的标签,我们证明,这种表示达到最高的性能,无论滋扰标签的关系。我们评估了几个任务,包括胸部X射线分类,其中,使用非肺部补丁作为滋扰,CNORD产生的模型,预测肺炎下强虚假的相关性。
2023-02-12 cs.LG stat.ML
On the geometry of generalization and memorization in deep neural networks
Intel Labs(英特尔研究院);Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
理解大型神经网络如何避免记忆训练数据是解释其高泛化性能的关键。为了研究记忆在深度网络中何时何地发生的结构,我们使用了最近开发的基于复制的平均场理论几何分析方法。我们发现所有层都优先从共享特征的示例中学习,并将此行为与泛化性能联系起来。由于减少了目标流形的半径和尺寸,湍流化主要发生在较深的层中,而早期的层受到的影响最小。这预示着泛化可以通过将最后几层权重恢复到发生显著记忆之前的较早时期来恢复,实验证实了这一点。此外,通过研究不同模型大小下的推广,我们揭示了双下降现象和底层模型几何之间的联系。最后,分析表明,网络在训练早期避免了记忆,因为接近初始化时,来自置换样本的梯度贡献很小。这些发现为深层神经网络各层的记忆结构、这种结构的驱动因素及其与多种几何属性的联系提供了定量证据。
2021-05-30 cond-mat.dis-nn cs.LG stat.ML
On the Inter-relationships among Drift rate, Forgetting rate, Bias/variance profile and Error
Monash University(莫纳什大学)
我们提出了两个一般性的和可证伪的假设,对泛化误差的期望时,在概念漂移的背景下学习。一个假设是,随着漂移率的增加,使泛化误差最小化的遗忘率也将增加,反之亦然。另一种假设是,随着学习者遗忘率的增加,使泛化误差最小化的偏差/方差分布将具有较低的方差,反之亦然。这些假设导致了甜蜜路径的概念,甜蜜路径是通过交替漂移率、遗忘率和偏差/方差分布的3-d空间的路径,在该路径上,泛化误差将被最小化,使得慢漂移与低遗忘和低偏差相耦合,而快漂移与快遗忘和低方差相耦合。我们提出的实验,支持存在这样一个甜蜜的path. We还表明,简单的学习者,选择适当的遗忘率和偏差/方差配置文件是非常有竞争力的国家的最先进的增量学习者的概念漂移对现实世界的漂移问题。
2018-02-04 cs.AI cs.LG
Generalization in Nonlinear Least Squares via Learned Feature Geometry
University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind);Sapient Intelligence(智睿科技)
通过算法稳定性分析岭正则化非线性最小二乘的泛化误差,利用经验雅可比Gram矩阵和残差曲率项定义数据依赖的有效维度,并证明其与内在维度而非参数数量相关。
2026-10-01 cs.LG stat.ML
Geometry and Generalization: Eigenvalues as predictors of where a network will fail to generalize
我们通过训练的权重矩阵的雅可比矩阵研究了训练的自编码器对输入空间的变形。在这样做时,我们证明了输入空间中的点的均方误差的界限,关于特征向量的正交性的假设下。我们还表明,迹和积的特征值的雅可比矩阵是一个很好的预测的MSE测试点。这是一种独立于数据集的方法,用于测试自动编码器对新输入进行泛化的能力。也就是说,不需要训练网络的数据集的知识,只需要训练模型的参数。
2021-07-13 cs.AI cs.LG math.DG
Structure-Preserving Learning Improves Geometry Generalization in Neural PDEs
University of California, Berkeley(加州大学伯克利分校)
提出General-Geometry Neural Whitney Forms (Geo-NeW)方法,通过联合学习微分算子和兼容的降阶有限元空间,结合有限元外微积分精确保持物理守恒律,显著提升对未见几何域的泛化能力。
2026-06-08 cs.AI cs.LG physics.comp-ph
Learning Multi-Object Positional Relationships via Emergent Communication
Peking University(北京大学);BAAI(北京智源人工智能研究院)
涌现通信的研究一直致力于交互式人工智能。虽然现有的工作集中在单个对象或复杂的图像场景的通信,我们认为,多个对象之间的通信关系是很重要的,在更现实的任务,但研究不足。在本文中,我们试图填补这一空白,并专注于两个对象之间的位置关系的紧急通信。我们训练代理的参考博弈中的观察包含两个对象,发现泛化是主要问题时,涉及的位置关系。影响新兴语言泛化能力的关键因素是说话者和听话者之间的输入变化,我们的工作是通过随机图像生成器来实现的。此外,我们发现学习的语言可以在一个新的多步MDP任务中很好地泛化,其中位置关系描述了目标,并且比原始像素图像以及预训练的图像特征表现得更好,验证了离散序列的强大泛化能力。我们还表明,从参考游戏的语言迁移表现更好的新任务比直接学习语言在这个任务中,这意味着在参考游戏的预训练的潜在好处。总而言之,我们的实验证明了让代理学习通过紧急通信来传达多个对象之间的位置关系的可行性和优点。
2023-02-16 cs.AI cs.CL cs.LG
A Combinatorial Theory of Dropout: Subnetworks, Graph Geometry, and Generalization
Brain Corporation(Brain公司)
本文提出dropout的组合与图论理论,将训练建模为子网络图上的随机游走,证明泛化子网络形成低电阻簇且随网络宽度指数增长,为理解dropout提供统一基础。
2025-05-28 cs.AI cs.LG
Diagnosing Generalization Failures from Representational Geometry Markers
Flatiron Institute(Flatiron研究所);Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind)
通过分析表征几何标记,研究发现任务相关几何属性可预测模型在分布外数据上的泛化能力,为模型选择和AI可解释性提供新方向。
2026-03-02 cs.AI cs.LG
Relationship between manifold smoothness and adversarial vulnerability in deep learning with local errors
School of Physics, Sun Yat-sen University(中山大学物理学院)
人工神经网络可以实现令人印象深刻的性能,甚至在某些特定任务中超过人类。然而,与生物大脑不同的是,人工神经网络在各种对抗攻击下,会受到感官输入的微小扰动。因此,有必要研究对抗性脆弱性的根源。在这里,我们建立了隐藏表示的几何结构(流形视角)与深度网络的泛化能力之间的基本关系。为此,我们选择了一个由局部误差训练的深度神经网络,然后通过流形维数,流形光滑性和泛化能力来分析训练网络的涌现特性。为了探索对抗性示例的效果,我们考虑了独立高斯噪声攻击和快速梯度符号方法(FGSM)攻击。我们的研究表明,一个高的泛化精度需要一个相对较快的幂律衰减的隐藏表示的特征谱。在高斯攻击下,推广精度与幂律指数之间的关系是单调的,而在FGSM攻击下,观察到一个非单调的行为。我们的实证研究提供了一个最终的机制解释下的对抗性攻击对抗攻击的脆弱性的路线。
2020-12-23 cond-mat.dis-nn cs.LG cs.NE
FiLM-GPNet: Geometry-Aware Pseudo-Supervised Phase Restoration with Zero-Shot Generalization for Large Temporal InSAR Stacks
University of Oulu(奥卢大学);University of Turku(图尔库大学)
该研究提出FiLM-GPNet网络,用于异质采集几何下的InSAR相位恢复,经实验验证其在时序残差、闭合误差等指标上优于Goldstein基线,且具备零样本泛化能力。
2026-09-01 cs.CV cs.LG
Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task Learning
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑);Carnegie Mellon University(卡内基梅隆大学)
对任意物体的灵巧操作是人类的基本日常任务,对自主机器人系统来说是一个巨大的挑战。虽然使用强化学习的数据驱动方法可以开发出发现控制单个对象的行为的专业策略,但它们通常对看不见的对象表现出很差的泛化能力。在这项工作中,我们表明,通过现有的强化学习算法学习的政策实际上可以是通才时,结合多任务学习和精心选择的对象表示。我们表明,一个单一的通才政策可以执行手操纵超过100几何不同的现实世界中的对象,并推广到新的对象看不见的形状或大小。有趣的是,我们发现,使用对象点云表示的多任务学习不仅泛化更好,而且在训练和保持测试对象上的性能甚至优于单对象专家策略。视频结果请访问https://huangwl18.github.io/geometry-dex
2021-11-04 cs.AI cs.CV cs.LG
The geometry of invariant learning: an information-theoretic analysis of data augmentation and generalization
Département d’informatique et génie logiciel Université Laval(计算机与软件工程系拉瓦尔大学);Institut intelligence et données Université Laval(智能与数据研究所拉瓦尔大学)
本文提出信息论框架分析数据增强对泛化和不变学习的影响,通过群直径概念揭示增强过程中的权衡,提供新的泛化界并验证其有效性。
2026-02-16 cs.AI cs.LG stat.ML
Separating Geometry from Probability in the Analysis of Generalization
University of Illinois(伊利诺伊大学);University of California, Berkeley(加州大学伯克利分校)
本文提出通过优化问题对扰动的敏感性分析,以确定一般化界限,采用确定性方法建立变分原理,通过误差项量化样本数据与训练数据的接近程度,后用统计假设分析误差项的大小。
2026-04-21 cs.LG math.OC stat.ML
Does Sparse Connectivity Improve Generalization? Convolutional Networks Below the Edge of Stability
UC San Diego(圣迭戈大学)
研究稀疏连接在卷积网络中如何在稳定性边缘以下提升泛化能力,揭示其与数据几何和梯度下降的联合影响。
2026-05-07 cs.LG stat.ML
Learning Continuous Hierarchies in the Lorentz Model of Hyperbolic Geometry
Facebook AI Research(Facebook人工智能研究院)
我们关心的是从大规模的非结构化相似性分数的层次关系的发现。为此,我们研究了双曲空间的不同模型,发现在洛伦兹模型中学习嵌入比在庞加莱球模型中更有效。我们表明,所提出的方法使我们能够学习高质量的嵌入的大型分类,从而产生改进庞加莱嵌入,特别是在低维。最后,我们应用我们的模型来发现两个真实世界的数据集的层次结构:我们表明,在双曲空间嵌入可以揭示公司的组织结构的重要方面,以及揭示语言家族之间的历史关系。
2018-07-08 cs.AI cs.LG stat.ML
Embedding Geometry Shapes LLM Routing: Tracing Failure Modes and Improving Generalization
Massachusetts Institute of Technology(麻省理工学院);Texas A&M University(德克萨斯农工大学)
本研究针对LLM路由的泛化失效问题,提出用Qwen2.5-7B-Instruct的深层最后token隐藏状态替代语义嵌入,相关方法在RouterBench上优于基线及最优路由器。
2026-10-15 cs.AI cs.LG stat.ML
From Geometry to Generalization: Why Row Normalization Can Beat Adam and Muon
Seoul National University(首尔国立大学);KAIST(韩国科学技术院);University of California, Davis(加州大学戴维斯分校)
该研究证明行归一化在高维多分类任务中泛化性能优于Adam和Muon,其逐类几何结构可保留决策边界方向,合成与语言模型实验验证了该优势。
2026-10-09 cs.AI cs.LG math.OC
A Convex Formulation for Learning Task Relationships in Multi-Task Learning
Department of Computer Science and Engineering, Hong Kong University of Science and Technology(香港科技大学计算机科学与工程学系)
多任务学习是一种学习范式,它试图通过其他相关任务的帮助来提高学习任务的泛化性能。在本文中,我们提出了一个正则化公式学习多任务学习中的任务之间的关系。这个公式可以被看作是单任务学习的正则化框架的一个新的推广。除了对正任务相关性进行建模之外,我们的方法称为多任务关系学习(MTRL),也可以描述负任务相关性,并基于相同的基本原理识别离群任务。在这种正则化框架下,MTRL的目标函数是凸的。为了提高效率,我们使用交替的方法来学习每个任务的最佳模型参数以及任务之间的关系。我们研究了对称多任务学习环境下的MTRL,并将其推广到非对称环境下。我们还研究了MTRL和一些现有的多任务学习方法之间的关系。在一个玩具问题和多个基准数据集上进行的实验证明了MTRL的有效性。
2012-03-15 cs.AI cs.LG stat.ML
Transformer Block Coupling and its Correlation with Generalization in LLMs
University of Toronto(多伦多大学)
本文通过分析token嵌入轨迹和雅可比矩阵,发现了transformer块耦合现象,该现象与LLMs及ViTs的泛化能力呈强正相关,为理解模型机制提供了新视角。
2025-03-05 cs.AI cs.CL cs.LG
A Surprising Linear Relationship Predicts Test Performance in Deep Networks
Center for Brains, Minds, and Machines, MIT(麻省理工学院大脑、心智与机器中心);Alphabet (Google) X(Alphabet(谷歌)X)
假设两个网络在一个数据集上具有相同的训练损失,那么它们什么时候会有截然不同的测试损失和错误呢?更好地理解这个泛化问题可能会改善深度网络的实际应用。在本文中,我们证明了交叉熵损失对于具有相同架构,相同Meta参数和相同训练误差的两个网络,诱导显着不同的泛化性能是非常简单的:可以用不同级别的“损坏”数据预训练网络,或者简单地用不同高斯标准差的权重初始化网络。最近的理论结果过拟合的推论表明,这些影响是由于一个内在的问题,测量测试性能的交叉熵/指数型损失,它可以分解成两个组件都最小化SGD-其中之一是不相关的预期分类性能。然而,如果我们将这部分损失剔除,训练和测试损失之间就会出现线性关系。在这种转换下,经典的泛化边界是惊人的紧:经验/训练损失非常接近预期/测试损失。此外,分类误差和归一化交叉熵损失之间的经验关系似乎近似单调
2018-07-25 cs.AI cs.CV cs.LG
When Data Geometry Meets Deep Function: Generalizing Offline Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR));Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
在离线强化学习(RL)中,深度Q函数在分布外(OOD)区域的误差积累是影响策略学习的一个重要问题。不幸的是,现有的离线RL方法往往过于保守,不可避免地会损害数据分布之外的泛化性能。在我们的研究中,一个有趣的观察是,深度Q函数在训练数据的凸包内很好地近似。受此启发,我们提出了一种新方法DOGE(Distance-sensitive Offline RL with better GEneralization)。DOGE将数据集几何与离线RL中的深度函数近似器结合在一起,并在可推广的OOD领域进行开发,而不是严格限制数据分布中的策略。具体来说,DOGE训练了一个状态条件距离函数,可以很容易地插入到标准的行动者-批评者方法中作为策略约束。简单而优雅,我们的算法在D4 RL基准测试中比最先进的方法具有更好的泛化能力。理论分析表明,我们的方法的优越性,现有的方法是完全基于数据分布或支持的限制。
2023-02-08 cs.AI cs.LG cs.RO