Unsupervised Representation Learning by InvariancePropagation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
基于对比学习的无监督学习方法越来越受到人们的关注,并取得了可喜的成果。它们中的大多数旨在学习对实例级变化不变的表示,这些变化由同一实例的不同视图提供。在本文中,我们提出了不变性传播,专注于学习表示不变的类别级别的变化,这是由来自同一类别的不同实例提供。我们的方法递归地发现语义一致的样本驻留在相同的高密度区域的表示空间。我们展示了一个硬采样策略,专注于最大限度地提高锚样本和其硬阳性样本之间的一致性,这提供了更多的类内变化,以帮助捕获更抽象的不变性。因此,以ResNet-50为主干,我们的方法在ImageNet线性分类上实现了71.3%的top-1准确率,在1%的标签上实现了78.2%的top-5准确率微调,超过了以前的结果。我们还在其他下游任务上实现了最先进的性能,包括Places 205和Pascal VOC上的线性分类,以及小规模数据集上的迁移学习。
2020-11-03 cs.CV cs.LG
Multi-Domain Causal Representation Learning via Weak Distributional Invariances
FAIR at Meta(Meta人工智能研究院);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);University of Michigan(密歇根大学)
针对多域因果表征学习中过度简化的单节点完美干预假设,本文利用潜在变量在支撑集、方差等分布性质上的弱不变性,证明自编码器可识别稳定潜在变量集合。
2023-12-11 cs.LG stat.ML
Unifying Causal Representation Learning with the Invariance Principle
Institute of Science and Technology Austria(奥地利科学技术研究所)
本文指出许多因果表示学习方法实质上是通过与数据内在对称性对齐的不变性原理来识别因果变量,据此提出一种可混合搭配不同假设的统一方法,并在真实高维生态数据上提升了处理效应估计效果。
2025-03-05 cs.LG stat.ML
TiCo: Transformation Invariance and Covariance Contrast for Self-Supervised Visual Representation Learning
New York University(纽约大学);Viasat, Inc.(Viasat公司);Facebook AI Research(脸书人工智能研究院)
我们提出了自监督视觉表示学习的变换不变性和协方差对比(TiCo)。与其他最近的自监督学习方法类似,我们的方法是基于最大化同一图像的不同失真版本的嵌入之间的一致性,这推动编码器产生变换不变表示。为了避免编码器生成恒定向量的平凡解,我们通过惩罚低秩解来正则化来自不同图像的嵌入的协方差矩阵。通过联合最小化变换不变性损失和协方差对比度损失,我们得到了一个能够为下游任务产生有用表示的编码器。我们分析了我们的方法,并表明,它可以被看作是一个变种的MoCo与隐式存储体的无限大小,没有额外的内存成本。这使得我们的方法在使用小批量时比其他方法表现更好。TiCo也可以被视为巴洛双胞胎的修改。通过将对比和冗余减少方法连接在一起,TiCo为我们提供了关于联合嵌入方法如何工作的新见解。
2022-06-23 cs.AI cs.CV cs.LG
Understanding Self-Supervised Learning of Speech Representation via Invariance and Redundancy Reduction
Osnabrueck University(奥斯纳布吕克大学)
本文实证分析Barlow Twins在语音自监督表征学习中的作用,验证其跨域迁移与样本高效编码潜力,并指出仅靠不变性和冗余约简仍难实现层级化解耦。
2024-01-24 cs.LG cs.SD eess.AS
Structure-agnostic Causal Representation Learning
Illinois Institute of Technology(伊利诺伊理工学院)
提出SaCRL框架,无需先验结构知识即可联合识别因果结构并学习不变表示,通过HSIC软优化实现结构选择,在多个基准上取得最优性能。
2026-10-02 cs.AI cs.LG
On the relationship between class selectivity, dimensionality, and robustness
Facebook AI Research(脸书人工智能研究院)
虽然深度神经网络(DNN)中稀疏表示和分布式表示之间的相对权衡已经得到了很好的研究,但关于这些权衡如何应用于语义有意义信息的表示却知之甚少。类选择性,一个单元的响应跨数据类或维度的可变性,是量化语义表示的稀疏性的一种方法。鉴于最近的证据表明,类选择性会损害泛化,我们试图调查它是否也赋予鲁棒性(或脆弱性)的扰动输入数据。我们发现,平均类选择性预测自然腐败的脆弱性;具有较低级别的类选择性的网络对腐败更鲁棒,而具有较高类选择性的网络更容易受到腐败的影响,使用Tiny ImageNetC和CIFAR 10 C进行测量。相比之下,我们发现类选择性增加了对多种类型的基于梯度的对抗攻击的鲁棒性。为了检验这种差异,我们研究了由于扰动而导致的表示变化的维度,发现降低类别选择性会增加这两种腐败类型的变化的维度,但对于对抗攻击来说,增加的维度要大得多。这些结果证明了选择性和鲁棒性之间的因果关系,并为这种关系的机制提供了新的见解。
2020-10-13 cs.LG stat.ML
Representations learnt by SGD and Adaptive learning rules: Conditions that vary sparsity and selectivity in neural networks
University of Bristol(布里斯托大学)
本文研究不同优化器、学习率和批量大小等条件下神经网络中稀疏性与选择性自然出现的规律,并在MNIST任务上通过实证分析揭示这些条件与表示性质及测试准确率之间的关系。
2024-10-02 cs.AI cs.LG
Controllable Invariance through Adversarial Feature Learning
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
学习有意义的表示,保持特定任务所需的内容,同时过滤掉有害的变化是机器学习中非常感兴趣的问题。在本文中,我们解决了学习表示对数据的特定因素或特征不变的问题。表示学习过程被公式化为一个对抗性极大极小博弈。我们分析了这样一个游戏的最优均衡,发现它相当于最大限度地提高不确定性推断的有害因素的表示,同时最大限度地提高确定性,使特定任务的预测。在三个基准任务,即公平和无偏见的分类,语言无关的生成,照明无关的图像分类,我们表明,所提出的框架诱导不变的表示,并导致更好的泛化证明了改进的性能。
2018-01-29 cs.AI cs.CL cs.LG
Developmental Symmetry-Loss: A Free-Energy Perspective on Brain-Inspired Invariance Learning
Arif Dönmez
本文提出对称性丧失算法,通过环境对称性约束实现不变性学习,结合自由能理论和群论,揭示了高效表示的生成机制。
2025-12-15 cs.AI cs.LG nlin.AO
Fundamental Limits and Tradeoffs in Invariant Representation Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学);Massachusetts Institute of Technology(麻省理工学院)
诸如隐私保护学习、算法公平性和领域自适应/泛化等的广泛的机器学习应用涉及学习旨在实现两个竞争目标的数据的不变表示:(a)最大化关于目标响应的信息或准确性,以及(b)最大化关于一组受保护特征(例如,为了公平、隐私等)。尽管其广泛的适用性,理论上的理解的最佳权衡-相对于准确性,和不变性-实现不变表示仍然严重缺乏。在本文中,我们提供了一个信息理论分析的分类和回归设置下的这种权衡。更确切地说,我们提供了一个几何表征的准确性和不变性可实现的任何表示的数据,我们这个可行的区域的信息平面。我们提供了一个内界的分类情况下,这个可行的区域,并为回归的情况下,这使我们能够绑定或准确地描述准确性和不变性之间的帕累托最优边界的确切特征。虽然我们的贡献主要是理论上的,我们的结果的一个关键的实际应用是在证明潜在的次优的任何给定的表示学习算法的分类或回归任务。我们的研究结果揭示了准确性和不变性之间的基本相互作用,并可能有助于指导未来的表示学习算法的设计。
2022-11-23 cs.AI cs.LG stat.ML
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
KAIST(韩国科学技术院);HITS(海德堡理论研究所)
scTrilemma提出一种潜在瓶颈VAE,通过路由变异至嵌入、解码器或先验,在无标签条件下同时满足单细胞表示的身份、不变性和保真度,并在零样本评估中领先。
2026-10-02 cs.AI cs.LG
Linking average- and worst-case perturbation robustness via class selectivity and dimensionality
Facebook AI Research(Facebook人工智能研究院)
已知表示稀疏性会影响深度神经网络(DNN)对输入扰动的鲁棒性,但对表示的语义内容如何影响鲁棒性知之甚少。类选择性--一个单元的响应在数据类或维度上的可变性--是量化语义表示的稀疏性的一种方法。鉴于最近的证据表明,类的选择性可能是不必要的,在某些情况下,可能会损害泛化,我们调查它是否也赋予鲁棒性(或脆弱性)的扰动输入数据。我们发现,具有较低类别选择性的正则化网络对平均情况(自然主义)扰动更具鲁棒性,而具有较高类别选择性的网络更容易受到攻击。相比之下,类选择性增加了对多种最坏情况(即白盒对抗)扰动的鲁棒性,这表明虽然降低类选择性对平均情况扰动有帮助,但对最坏情况扰动是有害的。为了解释这种差异,我们研究了网络表示的维度:我们发现早期层表示的维度与网络的类别选择性成反比,并且对抗性样本导致早期层维度的增加比损坏的样本更大。此外,与低选择性网络相比,高选择性网络中的输入单元梯度在样本和单元之间的变化更大。这些结果导致的结论是,单位更一致地参与低选择性制度相比,高选择性制度,有效地创建一个更大的攻击面,因此在最坏情况下的扰动的脆弱性。
2021-03-29 cs.AI cs.CV cs.LG
Causal Manifold Fairness: Enforcing Geometric Invariance in Representation Learning
Machine Learning Lab IIIT-Hyderabad(IIIT-海得拉巴第二工业大学机器学习实验室)
本文提出因果流形公平性框架,通过强制潜在空间几何不变性,解决敏感属性对数据流形几何的因果扭曲问题,实现公平性与效用的平衡。
2026-01-06 cs.AI cs.CY cs.LG
Towards General-Purpose Representation Learning of Polygonal Geometries
University of Georgia(佐治亚大学);Stanford University(斯坦福大学);University of California Santa Barbara(加州大学圣巴巴拉分校);University of California Berkeley(加州大学伯克利分校);University of British Columbia(不列颠哥伦比亚大学);University of Bristol(布里斯托尔大学)
空间数据的神经网络表示学习是地理人工智能(GeoAI)问题的普遍需求。近年来,点、折线和网络的表示学习取得了许多进展,而多边形,特别是复杂多边形几何的表示学习进展甚微。在这项工作中,我们专注于开发一个通用的多边形编码模型,它可以编码的多边形几何(有或没有孔,单或多多边形)到嵌入空间。结果嵌入可以直接(或微调)用于下游任务,如形状分类,空间关系预测,等。为了实现模型的泛化保证,我们确定了一些理想的属性:循环原点不变性,平凡顶点不变性,部分置换不变性,拓扑意识。我们探索两种不同的编码器设计:一种是在空间域中导出所有表示;另一种是利用谱域表示。对于空间域方法,我们提出了ResNet 1D,一个基于CNN的1D多边形编码器,它使用圆形填充来实现简单多边形上的循环原点不变性。对于谱域方法,我们开发了基于非均匀傅立叶变换(NUFT)的NUFTspec,它自然满足所有期望的属性。我们在两个任务上进行了实验:1)基于MNIST的形状分类; 2)基于两个新数据集DBSR-46 K和DBSR-cplx 46 K的空间关系预测。我们的研究结果表明,NUFTspec和ResNet 1D的表现优于多个现有的基线,具有显著的利润率。虽然ResNet 1D在形状不变性几何修改后会遭受模型性能下降,但由于NUFT的性质,NUFTspec对这些修改非常鲁棒。
2022-09-29 cs.AI cs.CV cs.LG
ConceptTracer: Interactive Analysis of Concept Saliency and Selectivity in Neural Representations
KI-Werkstatt, University of Applied Sciences Berlin(柏林应用科学大学KI-Werkstatt)
ConceptTracer通过人类可解释的概念视角,分析神经网络表示中的概念显著性与选择性,帮助识别响应强的概念神经元,展示其在TabPFN表示中的实用性。
2026-04-08 cs.AI cs.LG
Understanding the Role of Invariance in Transfer Learning
MPI-SWS(马克斯·普朗克软件系统研究所)
本文通过合成数据集系统研究表示不变性在迁移学习中的作用,发现对正确变换的不变性往往比训练样本数量、模型架构等因素更重要,并揭示了不变性可能损害迁移的条件及其跨任务可迁移性。
2024-07-05 cs.LG
A Deep Representation for Invariance And Music Classification
Center for Brains, Minds and Machines(大脑、心智与机器中心)
听觉皮层中的表征可能基于类似于视觉腹侧流的机制;模块用于构建对变换的不变性以及用于组合性和选择性的多个层。在本文中,我们提出了使用这样的计算模块提取不变的和歧视性的音频表示。建立在层次结构的不变性理论,我们提出了一种新的,中级表示的声学信号,使用经验分布的投影在一组模板和它们的变换。在这样的假设下,通过构造,该模板字典由类似的类组成,并且对方差诱导信号变换(例如移位和缩放)的轨道进行采样,所得到的签名在理论上保证是唯一的、对变换不变性的并且对变形稳定。然后,投影和池化模块可以构成深度网络的层,用于学习复合表示。我们提出的主要理论和计算方面的框架不变的音频表示的无监督学习,经验评估音乐流派分类。
2014-04-01 cs.LG cs.SD stat.ML
From Bricks to Bridges: Product of Invariances to Enhance Latent Space Communication
Sapienza University of Rome(罗马大学)
提出一种将不变性直接整合到表征中构建乘积空间的方法,无需先验知识即可在零样本拼接设定下提升不同模态和模型的潜在相似性与下游性能。
2024-03-20 cs.LG
From Symmetry to Invariance: Learning Galois Equivalent Representations in Finite Fields
Towson University(陶森大学)
该研究针对神经网络在有限域运算等价表示间的迁移问题,提出训练模型预测伽罗瓦作用以构造轨道规范代表的方法,实现了乘法运算向未见过的基表示的迁移。
2026-08-25 cs.LG
Learning Subset-Shared Invariances for Domain Generalization with Mixture-of-Experts
VinUniversity
针对域泛化中全局不变性限制表示空间的问题,提出子集共享不变性,通过专家混合架构学习路由条件不变性,提升域外泛化性能。
2026-06-25 cs.LG
Grounding Functional Similarity by Invariance-Aware Model Stitching
Ioannis Athanasiadis;Anmar Karmush;Michael Felsberg
针对标准模型拼接忽略不变性导致功能相似性误判的问题,提出前向-后向兼容性要求下的不变性感知模型拼接方法,揭示隐藏的功能差异。
2026-06-01 cs.LG
What Does CNN Shift Invariance Look Like? A Visualization Study
Columbia University(哥伦比亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
利用卷积神经网络(CNN)进行特征提取是一种表示用于机器学习任务的图像的流行方法。这些表示寻求捕获全局图像内容,并且理想地应该独立于几何变换。我们专注于测量和可视化从流行的现成的CNN模型中提取的特征的移位不变性。我们提出了三个实验的结果比较表示数百万的图像与彻底移位的对象,检查局部不变性(在几个像素内)和全局不变性(整个图像帧)。我们的结论是,从流行的网络中提取的特征不是全局不变的,并且偏差和伪影存在于该方差内。此外,我们确定抗锯齿模型显着提高局部不变性,但不影响全局不变性。最后,我们提供了一个用于实验再现的代码库,以及一个与我们的结果进行交互的网站https://jakehlee.github.io/visualize-invariance。
2020-11-09 cs.LG
Task-Induced Representational Invariances Depend on Learning Objective in Deep RL
Department of Physics, Harvard University(哈佛大学物理系);Kempner Institute, Harvard University(哈佛大学凯普纳研究所);Center for Computational Neuroscience, Flatiron Institute(Flatiron研究所计算神经科学中心)
本文通过MDP约简理论分析深度强化学习中的表征,发现基于价值的方法(DQN)学习对MDP同态对称性不变的表征,而基于策略梯度的方法(PPO)学习对动作对称性不变的表征,这些差异影响迁移学习并在LLM中呈现提示依赖性。
2026-06-01 cs.LG
Learning robust visual representations using data augmentation invariance
University of Osnabrück(奥斯纳布吕克大学);MRC Cognition and Brain Sciences Unit, University of Cambridge(剑桥大学MRC认知与脑科学组)
为图像对象分类训练的深度卷积神经网络与灵长类动物腹侧视觉流中发现的表征表现出显着的相似性。然而,人工和生物网络仍然表现出重要的差异。在这里,我们调查这样一个属性:增加不变性,以保持身份的图像变换发现沿腹流。尽管有理论证据表明不变性应该从优化过程中自然出现,但我们提出的经验证据表明,为对象分类训练的卷积神经网络的激活对数据增强中常用的身份保持图像变换并不鲁棒。作为一种解决方案,我们提出了数据增强不变性,一个无监督学习的目标,提高了鲁棒性的学习表示,通过促进增强图像样本的激活之间的相似性。我们的研究结果表明,这种方法是一种简单而有效的(训练时间增加10%)方法,可以提高模型的不变性,同时获得类似的分类性能。
2019-06-11 cs.CV cs.LG
Graph-Based Similarity of Neural Network Representations
Institute of Cyberspace Security(网络空间安全研究院);Zhejiang University of Technology(浙江工业大学);Northwestern Polytechnical University(西北工业大学)
理解深度神经网络(DNN)中的黑盒表示是深度学习中的一个基本问题。在这项工作中,我们提出了基于图的相似性(GBS)来衡量层特征的相似性。与以前直接在特征图上计算相似性的工作相反,GBS基于用隐藏层输出构建的图来测量相关性。通过将每个输入样本视为节点,并将相应的层输出相似性视为边缘,我们为每个层构建了DNN表示图。层的图之间的相似性识别在不同数据集和初始化中训练的模型的表示之间的对应关系。我们证明了GBS的不变性,包括对正交变换的不变性和对各向同性标度的不变性,并将GBS与CKA进行了比较。GBS在反映相似性方面表现出最先进的性能,并提供了解释隐藏层空间上对抗样本行为的见解。
2022-05-25 cs.LG
On the benefits of representation regularization in invariance based domain generalization
Université Laval(拉瓦尔大学);Western University(韦仕敦大学);Vector Institute(向量研究所);Mila(米拉人工智能研究所)
可靠的机器学习的一个重要方面是设计一个可部署的系统,以推广新的相关但未观察到的环境。领域泛化的目的是缓解观察到的和看不见的环境之间的这种预测差距。以前的方法通常采用学习不变表示来实现良好的经验性能。在本文中,我们揭示了仅仅学习不变表示容易受到看不见的环境的影响。为此,我们得到了新的理论分析,以控制不可见的测试环境错误的表示学习,这突出了控制表示的平滑性的重要性。在实践中,我们的分析进一步启发了一个有效的正则化方法,以提高领域泛化的鲁棒性。我们的正则化是正交的,可以直接采用现有的领域泛化算法不变的表示学习。实验结果表明,我们的算法优于基础版本在各种数据集和不变性标准。
2021-05-30 cs.LG stat.ML
On Invariance Penalties for Risk Minimization
Mayo Clinic(梅奥诊所);Oxford University(牛津大学);King’s College London(伦敦国王学院)
不变风险最小化(Invariant Risk Minimization,简称RST)原则最早由Arjovsky et al. [2019]提出,旨在通过利用不同实验条件下的数据异质性来解决领域泛化问题。具体来说,SVM试图找到一种数据表示,在这种数据表示下,最佳分类器在所有域中都保持不变。尽管概念上的上诉,最初提出的不变性惩罚的有效性最近已被质疑。特别是,存在这样的反例:对于非不变数据表示,不变性惩罚可以任意小。我们提出了另一种不变性惩罚通过重新访问的Gramian矩阵的数据表示。我们讨论了它的特征值之间的关系的风险和不变性惩罚的作用,并证明了它是病态的上述反例。所提出的方法是保证恢复一个不变的表示线性设置下温和的非退化条件。在两个广泛的领域泛化测试平台DomainBed和InvarianceUnitTest上的实验证明了该方法的有效性。
2021-06-17 cs.LG stat.ML
SEIS: Subspace-based Equivariance and Invariance Scores for Neural Representations
University of Southampton(索姆塞特大学)
本文提出SEIS方法,用于分析神经表示在几何变换下的特性,揭示卷积编码器和解码器在不同层的等变性和不变性变化规律,以及训练策略对这些特性的影响。
2026-05-09 cs.CV cs.LG
On Invariance, Equivariance, Correlation and Convolution of Spherical Harmonic Representations for Scalar and Vectorial Data
Offenburg University(奥芬堡大学);Institute for Machine Learning and Analytics(机器学习与分析研究所);Fraunhofer ITWM(弗劳恩霍夫工业数学研究所)
本文系统介绍了球谐表示的理论与实现,涵盖旋转不变与等变特征、卷积及精确相关性,并将其推广到向量谐波以处理球面三维向量场。
2023-07-06 cs.AI cs.LG
Is invariance all you need for algorithmic fairness? Removing demographic information can create new bias
本文研究算法公平性中人口统计表示不变性的作用,证明强制不变性可能阻碍偏见缓解甚至产生新偏见,并区分边缘与类条件不变性,指出其分别对应人口统计均等和均等化几率,经理论和实证验证,认为不变性对公平性既不可取也不充分。
2026-09-29 cs.AI cs.LG
Measuring Representational Robustness of Neural Networks Through Shared Invariances
University of Maryland, College Park(马里兰大学帕克分校);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);PUCRS(巴西圣保罗天主教大学);The Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学)
在深度学习中研究鲁棒性的一个主要挑战是定义给定的神经网络(NN)应该不变的“无意义”扰动集。大多数关于鲁棒性的工作都隐含地使用人类作为参考模型来定义这种扰动。我们的工作通过使用另一个参考NN来定义给定NN应该不变的扰动集,从而将对参考“人类NN”的依赖推广到任何NN,从而提供了一个关于鲁棒性的新观点。这使得测量鲁棒性等同于测量两个NN共享不变性的程度,为此我们提出了一种称为STIR的度量。STIR重新利用现有的表示相似性度量,使其适合于测量共享不变性。使用我们的测量,我们能够深入了解共享不变性如何随着权重初始化,架构,损失函数和训练数据集的变化而变化。我们的实现可从以下网址获得:\url{https://github.com/nvedant07/STIR}。
2022-06-23 cs.AI cs.LG
Respecting Domain Relations: Hypothesis Invariance for Domain Generalization
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
在领域泛化中,训练过程中可以使用多个带标签的非独立且非同分布的源域,而目标域的数据和标签都不可用。目前,学习领域不变表示(DIR)是领域泛化的主流方法。在这项工作中,我们定义了现有的作品中采用的概率术语的DIR,并表明,通过学习DIR,过于严格的要求施加有关的不变性。具体地,DIR旨在完美地对齐不同域的表示,即它们的输入分布。然而,这对于良好地推广到目标域是不必要的,并且甚至可能处理有价值的分类信息。我们建议学习所谓的假设不变表示(HIR),它通过仅仅对齐后验而不是对齐表示来放松不变性假设。我们报告了在公共领域泛化数据集上的实验结果,表明学习HIR比学习DIR更有效。事实上,我们的方法甚至可以与使用领域先验知识的方法竞争。
2020-10-15 cs.CV cs.LG
Emergence of Invariance and Disentanglement in Deep Representations
University of California Los Angeles(加州大学洛杉矶分校)
使用统计学和信息论中的既定原则,我们证明了深度神经网络中对滋扰因素的不变性相当于学习表示的信息最小化,并且在训练过程中堆叠层和注入噪声自然会使网络偏向于学习不变表示。然后,我们分解训练过程中使用的交叉熵损失,并强调存在固有的过拟合项。我们建议通过以两种等效的方式绑定这样一个项来正则化损失:一种是Kullbach-Leibler项,它与PAC贝叶斯观点有关;另一种是使用权重中的信息作为学习模型复杂性的度量,为权重产生一个新的信息瓶颈。最后,我们证明了网络学习的表示的组件的不变性和独立性在权重信息的上下范围内,因此在训练过程中被隐式优化。该理论使我们能够量化和预测尖锐的相位过渡欠拟合和过拟合的随机标签时,使用我们的正则化损失,我们在实验中验证,并揭示了损失函数的几何形状之间的关系,学习表示的不变性,和泛化误差。
2018-06-28 cs.AI cs.LG stat.ML
Group Invariance, Stability to Deformations, and Complexity of Deep Convolutional Representations
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
深度卷积架构的成功通常部分归功于它们学习自然信号的多尺度和不变表示的能力。然而,对这些属性以及它们如何影响学习保证的精确研究仍然缺失。在本文中,我们考虑信号的深度卷积表示;我们研究它们对平移和更一般的变换群的不变性,它们对反同态作用的稳定性,以及它们保存信号信息的能力。通过引入基于卷积核网络的多层核并通过研究核映射引起的几何形状来进行这种分析。然后,我们描述了相应的再生核希尔伯特空间(RKHS),表明它包含一个大类的卷积神经网络具有齐次激活函数。这种分析使我们能够将数据表示与学习分开,并提供模型复杂性的规范度量,即RKHS范数,它控制任何学习模型的稳定性和泛化。除了在构建的RKHS模型,我们的稳定性分析也适用于卷积网络与一般的激活,如整流线性单元,我们讨论了它与最近的泛化界的基础上谱范数的关系。
2018-10-10 cs.LG stat.ML
Invariant Representations through Adversarial Forgetting
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
我们提出了一种新的方法来实现深度神经网络的不变性,其形式是通过一种新的对抗性遗忘机制来诱导对数据中不需要的因素的遗忘。我们发现,遗忘机制是一个信息瓶颈,它是由对抗性训练来操纵的,以学习对不需要的因素的不变性。实证结果表明,所提出的框架实现了最先进的性能,在学习不变性的滋扰和偏见设置在不同的数据集和任务的集合。
2019-11-20 cs.LG stat.ML
Invariance Measures for Neural Networks
Instituto de Investigación en Informática LIDI, Facultad de Informática, Universidad Nacional de La Plata(拉普拉塔国立大学信息学院LIDI信息学研究所);Universitat Rovira i Virgili(罗维拉-依维尔基里大学);HP Inc.(惠普公司)
本文提出可解释且高效的不变性度量,用于刻画神经网络内部表示的不变性,并在仿射变换及 CIFAR10、MNIST 上验证其对权重初始化稳定、对数据和变换变化敏感的特性。
2023-10-26 cs.AI cs.LG cs.NE
When does Subgroup Balance Matter? Predicting Performance Sensitivity from Latent Separability
University of Oxford(牛津大学);Imperial College London(伦敦帝国理工学院)
研究探讨了子组平衡对模型性能的影响,提出潜在分离假设,并通过实验验证,为数据收集和平衡提供指导。
2026-10-21 cs.AI cs.LG
Unsupervised Adversarial Invariance
USC Information Sciences Institute(南加州大学信息科学研究所)
包含关于目标变量的所有信息但不受干扰因素影响的数据表示有利于监督学习算法,因为它可以防止监督学习算法学习这些因素与目标之间的关联,从而减少过拟合。我们提出了一种新的无监督的不变性归纳框架神经网络,通过预测任务和重建任务之间的竞争性训练,再加上解纠缠,学习分裂表示的数据,而不需要任何标记的有害因素或领域知识的信息。我们描述了这个框架的对抗实例,并提供其工作分析。我们的无监督模型优于最先进的方法,这是监督,在诱导不变性的固有滋扰因素,有效地使用合成数据增强学习不变性,和领域自适应。我们的方法可以应用于任何预测任务,例如,二进制/多类分类或回归,不失一般性。
2018-09-26 cs.LG stat.ML
Revisiting Transformation Invariant Geometric Deep Learning: An Initial Representation Perspective
Department of Computer Science and Technology(计算机科学与技术系)
本文提出变换不变神经网络(TinvNN),通过修改多维缩放得到变换不变且保持距离的初始点表示,实现几何数据的严格变换不变性,在点云分析和组合优化中验证了其有效性与通用性。
2025-10-27 cs.CV cs.LG
Representation and Invariance in Reinforcement Learning
The City University of New York(纽约市立大学)
本文研究强化学习框架间保留相对智能的可映射性,引入相关准则,证明确定性与随机性RL框架间映射无法满足该准则,揭示不同版本RL存在固有根本差异。
2026-08-12 cs.AI cs.GT cs.LG
Taming foundation model with invariance-oriented pre-training for broad-spectrum EEG analysis across signal-level, brain-state, and brain-health tasks
ShanghaiTech University(上海科技大学);Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能医疗科技有限公司);Shanghai Clinical Research and Trial Center(上海临床研究与试验中心)
研究针对EEG模型的局限性,提出以不变性为导向的EEG基础模型INCEPT,经超11000小时临床EEG训练,在广谱EEG任务基准中多数指标领先,验证了不变性学习构建可复用EEG基础模型的潜力。
2026-08-26 cs.AI cs.LG
Learning Action-based Representations Using Invariance
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California Berkeley(加州大学伯克利分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对强化学习中长时序可控性特征难捕捉的问题,提出受互模拟不变性启发的动作互模拟编码方法,通过递归约束扩展单步可控性,经无奖励数据预训练可提升多环境样本效率,并辅以理论与定性验证。
2024-06-24 cs.AI cs.LG stat.ML
Understanding image representations by measuring their equivariance and equivalence
University of Oxford(牛津大学)
尽管定向梯度直方图和深度卷积神经网络(CNN)等图像表示非常重要,但我们对它们的理论理解仍然有限。为了填补这一空白,我们研究了三个关键的数学性质的表示:等变性,不变性和等价性。等方差研究输入图像的变换如何被表示编码,不变性是变换没有影响的特殊情况。等效性研究两种表示,例如CNN的两种不同参数化,是否捕获相同的视觉信息。提出了许多凭经验建立这些属性的方法,包括在CNN中引入变换和缝合层。然后将这些方法应用于流行的表示,以揭示其结构的深刻方面,包括澄清在CNN中的哪些层实现了某些几何不变性。虽然本文的重点是理论,但也展示了结构化输出回归的直接应用。
2015-06-20 cs.CV cs.LG cs.NE
Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning
Princeton University(普林斯顿大学)
研究数学推理中答案不变性与表示不变性的区别,发现模型对重排规则顺序的表示区分度与准确性正相关,Spearman相关达0.86。
2026-10-01 cs.AI cs.CL cs.LG
All Roads Lead to Rome? Exploring the Invariance of Transformers' Representations
Tsinghua University(清华大学);Fudan University(复旦大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);Bar-Ilan University(巴伊兰大学)
本研究质疑Transformer表示的可靠性,探讨其是否受随机种子影响。提出双射假设并构建BERT-INN模型,比CCA更有效地对齐不同模型的表示空间,为可解释性研究提供新见解。
2023-05-23 cs.AI cs.CL cs.LG
Invariance is Key to Generalization: Examining the Role of Representation in Sim-to-Real Transfer for Visual Navigation
National University of Singapore(新加坡国立大学);Princeton University(普林斯顿大学)
本文提出一种融合深度与语义信息的不变性表示,使视觉导航策略能从模拟室内场景泛化到真实室内外环境,并证明该表示可减小域间A-距离、改善泛化误差上界。
2023-12-04 cs.AI cs.CV cs.LG