Leveraging Invariant Principle for Heterophilic Graph Structure Distribution Shifts
Zhejiang University（浙江大学）；Meituan（美团）；The Pennsylvania State University（宾夕法尼亚州立大学）；HKUST（香港科技大学）
针对异嗜图节点分类中训练与测试节点结构分布偏移问题，提出HEI框架，利用异嗜信息推断潜在环境以生成不变节点表示，实现不变预测，理论保证性能，实验验证优于现有基线。
2025-02-25 cs.AI cs.LG
On learning with shift-invariant structures
Istituto Italiano di Tecnologia（意大利技术研究院）
我们描述了两个不同的，但相关的，处理循环矩阵的问题的新的结果和算法：学习移位不变的组件从训练数据和计算两个给定的信号之间的移位（或对齐）。在第一种情况下，我们处理移位不变字典学习问题，而后者则称为（压缩）移位检索。我们使用循环和卷积矩阵（包括此类矩阵的并集）来制定这些问题，定义描述我们目标的优化问题，并提出解决这些问题的有效方法。基于这些发现，我们还展示了如何从训练数据中学习小波字典。我们将我们的工作与以前的各种结果从文献中，我们表明我们提出的算法使用合成，ECG信号和图像的有效性。
2019-06-28 cs.DS cs.LG stat.ML
Truly shift-invariant convolutional neural networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Basel（巴塞尔大学）
由于卷积层和池化层的使用，卷积神经网络在很长一段时间内被认为是平移不变的。然而，最近的工作表明，CNN的输出可以随着输入的微小偏移而显著变化：这是由下采样（步幅）层的存在引起的问题。现有的解决方案依赖于数据增强或抗混叠，这两种方法都有局限性，并且都不能实现完美的移位不变性。此外，从这些方法获得的增益不会扩展到在训练期间看不到的图像模式。为了解决这些挑战，我们提出了自适应多相采样（APS），这是一种简单的子采样方案，允许卷积神经网络在移位下实现100%的分类性能一致性，而不会损失任何准确性。使用APS，网络甚至在训练之前就表现出了对移位的完美一致性，使其成为第一种使卷积神经网络真正具有移位不变性的方法。
2021-03-30 cs.AI cs.CV cs.LG
Decoding the shift-invariant data: applications for band-excitation scanning probe microscopy
位移不变的变分自动编码器（shift-VAE）的开发作为一种无监督的方法，在沿参数轴的位移的存在下，光谱数据的分析，解开其他潜在变量的物理相关的位移。使用合成数据集，我们表明，移位VAE潜变量密切匹配地面实况参数。位移VAE扩展到带激发压电响应力显微镜（BE-PFM）数据的分析，以无模型无监督的方式从峰形参数中解开共振频率位移。进一步证明了这种方法对数据去噪和无模型降维成像和光谱数据的扩展。这种方法是通用的，也可以扩展到X射线衍射，光致发光，拉曼光谱和其他数据集的分析。
2021-04-20 cond-mat.dis-nn cs.LG eess.IV
When Invariant Representation Learning Meets Label Shift: Insufficiency and Theoretical Insights
School of Mathematics, Sun Yat-Sen University（中山大学数学学院）
本文针对数据集偏移场景，探究现有不变表示学习的不足，从理论上证明广义标签偏移（GLS）校正对泛化的充要性，提出基于核嵌入的校正算法KECA，实验验证其有效性与优越性。
2024-06-24 cs.CV cs.LG
Improving Shift Invariance in Convolutional Neural Networks with Translation Invariant Polyphase Sampling
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
针对下采样破坏 CNN 移位不变性的问题，提出可学习的 TIPS 池化及两种正则化以降低 MSB，在分类、分割及鲁棒性基准上实现一致提升。
2024-12-01 cs.CV cs.LG
Weighted Risk Invariance: Domain Generalization under Invariant Feature Shift
Johns Hopkins University（约翰霍普金斯大学）；University of Maryland, College Park（马里兰大学学院公园分校）；New York University（纽约大学）；Center for Data Science（数据科学中心）
针对不变协变量偏移下现有不变学习方法性能不佳的问题，提出加权风险不变性（WRI）框架，通过环境间损失的不变性并加权训练样本，在理论上保证学习到不变模型，并在实验中优于先前方法。
2024-07-25 cs.AI cs.CV cs.LG
Learnable Polyphase Sampling for Shift Invariant and Equivariant Convolutional Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）
我们提出了可学习的多相采样（LPS），这是一对可学习的下/上采样层，可以实现真正的平移不变和等变卷积网络。LPS可以从数据进行端到端的训练，并推广现有的手工下采样层。它具有广泛的适用性，因为它可以通过替换下采样/上采样层集成到任何卷积网络中。我们评估LPS的图像分类和语义分割。实验表明，LPS在性能和移位一致性方面与现有方法相当或优于现有方法。我们第一次在语义分割（PASCAL VOC）上实现了真正的平移等方差，即，100%的移位一致性，绝对超过基线3.3%。
2022-10-14 cs.AI cs.CV cs.LG
Learning Fair Invariant Representations under Covariate and Correlation Shifts Simultaneously
Tianjin University（天津大学）；Baylor University（贝勒大学）
针对现有公平感知域泛化方法鲜少同时兼顾协变量与相关偏移的问题，提出一种通过潜在空间解耦、消减敏感信息学习公平域不变表示的方法，在准确率与公平性上均超越SOTA。
2024-08-18 cs.AI cs.CY cs.LG
Making Convolutional Networks Shift-Invariant Again
Adobe Research（奥多比研究院）
现代卷积网络不是平移不变的，因为小的输入移位或平移会导致输出的剧烈变化。常用的下采样方法，如max-pooling，strided-convolution和average-pooling，忽略了采样定理。众所周知的信号处理解决方案是在下采样之前通过低通滤波进行抗混叠。然而，简单地将此模块插入深度网络会降低性能;因此，它现在很少使用。我们表明，当正确集成时，它与现有的架构组件，如最大池和跨越卷积兼容。我们在ImageNet分类中观察到\textit{increased accuracy}，在几个常用的架构中，如ResNet，DenseNet和MobileNet，表明有效的正则化。此外，我们观察到\textit{better generalization}，在稳定性和鲁棒性输入损坏。我们的研究结果表明，这种经典的信号处理技术在现代深度网络中被不应有地忽视了。流行网络的代码和反锯齿版本可在https://richzhang.github.io/antialiased-cnns/上获得。
2019-06-09 cs.CV cs.LG
Rotation-Invariant Multi-IMU Activity Recognition under Independent Per-Location Orientation Shifts
Korea University（高丽大学）；Massachusetts Institute of Technology（麻省理工学院）
针对多IMU部署时各位置独立方向偏移的问题，提出TRI-HAR框架，通过结构设计实现旋转不变性，在多IMU基准测试中优于旋转增强基线。
2026-08-18 cs.AI cs.LG
Invariant and Transportable Representations for Anti-Causal Domain Shifts
University of Chicago（芝加哥大学）；Google Research（谷歌研究院）
现实世界的分类问题必须与域转移相抗衡，域转移是部署模型的域与收集训练数据的域之间的（潜在）不匹配。处理这类问题的方法必须指定域之间什么结构是共同的，什么是不同的。一个自然的假设是因果（结构）关系在所有领域都是不变的。然后，学习一个仅依赖于其因果父节点的标签$Y$的预测器是很有诱惑力的。然而，在$Y$是协变量$X$的原因的意义上，许多现实世界的问题是“反因果”的--在这种情况下，$Y$没有因果父变量，朴素因果不变性是无用的。在本文中，我们研究表示学习下的一个特定的概念域转移，既尊重因果不变性，自然处理的“反因果”结构。我们展示了如何利用域的共享因果结构来学习一种表示，这种表示既允许不变的预测因子，又允许在新的域中快速适应。关键是将因果假设转化为学习原则，以区分“不变”和“不稳定”特征。仿真实验和真实数据实验表明了该学习算法的有效性。代码可在https://github.com/ybjiaang/ACTIR上获得。
2022-07-04 cs.AI cs.LG
Density estimation for shift-invariant multidimensional distributions
Northwestern University（西北大学）；Google（谷歌）；Columbia University（哥伦比亚大学）
研究了$\mathbb{R}^d$上一类移不变分布的密度估计。一个多维分布是“平移不变”的，如果粗略地说，它在总的变化距离上接近于它在任何方向上的一个小的位移。平移不变性放宽了非参数密度估计中常用的平滑性假设，以允许跳跃不连续性。我们所考虑的不同类型的分布对应于不同的尾部衰减率。对于每个这样的类，我们给出了一个有效的算法，学习任何分布在类中的独立样本的总变异距离。作为我们的一般结果的一个特殊情况下，我们表明，$d$维移位不变分布，满足指数尾界可以学习到总的变化距离误差$ε$使用$\tilde{O}_d(1/ ε^{d+2})$的例子和$\tilde{O}_d(1/ ε^{2d+2})$时间。这意味着，对于常数$d$，可以使用$\tilde{O}_d(1/ε^{d+2})$样本在$\tilde{O}_d(1/ε^{2d+2})$时间内学习多变量对数凹分布，回答[Diakonikolas，Kane和Stewart，2016]的问题。其中要学习的目标分布是类中的某个未知分布与某个其他任意和未知分布的$(1-ε,ε)$混合，并且学习算法必须输出具有与目标分布的总变化距离误差$O(ε)$的假设分布。我们表明，我们的一般结果是接近最好的可能证明一个简单的$Ω\left(1/ε^d\right)$信息理论的样本复杂性的下限，即使是学习有界分布的移位不变。
2018-11-09 cs.DS cs.LG stat.ML
Functional Neural Networks: Shift invariant models for functional data with applications to EEG classification
SNAP GmbH（SNAP有限公司）
本文提出函数神经网络（FNNs），将多层感知机和卷积神经网络扩展到函数型数据，实现平移不变并保持平滑性，在准确率上优于FDA基准模型并成功用于脑电图分类。
2023-08-10 cs.LG stat.ME stat.ML
