Invariance encoding in sliced-Wasserstein space for image classification with limited training data
University of Virginia(弗吉尼亚大学)
深度卷积神经网络(CNN)被广泛认为是最先进的通用端到端图像分类系统。然而,当训练数据有限并且因此需要数据增强策略时,已知它们表现不佳,这使得该方法在计算上昂贵并且不总是有效的。而不是使用一个数据增强策略来编码的不变性通常在机器学习,在这里,我们建议在数学上增加最近的子空间分类模型切片Wasserstein空间利用某些数学性质的氡累积分布变换(R-CDT),最近推出的图像变换。我们证明,对于特定类型的学习问题,我们的数学解决方案在分类准确性和计算复杂性方面优于深度CNN的数据增强,并且在有限的训练数据设置下特别有效。该方法简单,有效,计算效率高,非迭代,不需要调整参数。实现我们方法的Python代码可以在https://github.com/rohdelab/mathematical_augmentation上找到。我们的方法被集成为软件包PytransKit的一部分,该软件包可在https://github.com/rohdelab/PyTransKit获得。
2022-07-24 cs.CV cs.LG
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
KAIST(韩国科学技术院);HITS(海德堡理论研究所)
scTrilemma提出一种潜在瓶颈VAE,通过路由变异至嵌入、解码器或先验,在无标签条件下同时满足单细胞表示的身份、不变性和保真度,并在零样本评估中领先。
2026-11-17 cs.AI cs.LG
Learning robust visual representations using data augmentation invariance
University of Osnabrück(奥斯纳布吕克大学);MRC Cognition and Brain Sciences Unit, University of Cambridge(剑桥大学MRC认知与脑科学组)
为图像对象分类训练的深度卷积神经网络与灵长类动物腹侧视觉流中发现的表征表现出显着的相似性。然而,人工和生物网络仍然表现出重要的差异。在这里,我们调查这样一个属性:增加不变性,以保持身份的图像变换发现沿腹流。尽管有理论证据表明不变性应该从优化过程中自然出现,但我们提出的经验证据表明,为对象分类训练的卷积神经网络的激活对数据增强中常用的身份保持图像变换并不鲁棒。作为一种解决方案,我们提出了数据增强不变性,一个无监督学习的目标,提高了鲁棒性的学习表示,通过促进增强图像样本的激活之间的相似性。我们的研究结果表明,这种方法是一种简单而有效的(训练时间增加10%)方法,可以提高模型的不变性,同时获得类似的分类性能。
2019-06-11 cs.CV cs.LG
Improving Transformation Invariance in Contrastive Representation Learning
University of Oxford(牛津大学)
我们提出的方法来加强通过对比学习获得的表示的不变性。虽然现有的方法隐式地诱导一定程度的不变性表示学习,我们希望更直接地执行编码过程中的不变性。为此,我们首先介绍了一个对比学习的训练目标,它使用一种新的正则化器来控制变换下的表示变化。我们表明,用这个目标训练的表示在下游任务上表现得更好,并且对测试时引入的滋扰变换更鲁棒。其次,我们提出了一个变化,如何测试时间表示是通过引入一个功能平均的方法,结合编码从原始输入的多个变换,发现这导致全面的性能增益产生。最后,我们介绍了新的Spirograph数据集,在具有多个下游任务的可微分生成过程的背景下探索我们的想法,表明我们的学习不变性的技术非常有益。
2021-03-22 cs.AI cs.LG stat.ML
Icospherical Chemical Objects (ICOs) allow for chemical data augmentation and maintain rotational, translation and permutation invariance
本文提出二十面体球形化学对象(ICOs),以旋转不变方式编码三维分子结构并支持数据增强,在分子性质预测、溶解度预测和蛋白质结合任务上验证了其与球形神经网络的有效性。
2023-04-15 cs.LG
Wav2Arrest 2.0: Long-Horizon Cardiac Arrest Prediction with Time-to-Event Modeling, Identity-Invariance, and Pseudo-Lab Alignment
Nell Hodgson Woodruff School of Nursing, Emory University(埃默里大学护理学院);Department of Pediatrics, Emory School of Medicine(埃默里医学院儿科部)
本研究提出三项正交改进(时间-事件建模、身份不变性、伪标签对齐),将PPG心脏骤停预测的24小时AUC从0.74提升至0.78-0.80,并缓解多任务梯度冲突。
2025-09-25 cs.LG
Positional Information Matters for Invariant In-Context Learning: A Case Study of Simple Function Classes
The Chinese University of Hong Kong(香港中文大学);Hong Kong Baptist University(香港浸会大学);Tencent AI Lab(腾讯AI实验室)
本文通过线性回归案例研究上下文学习,发现保持对输入示例的置换不变性(即ICL不变性)对分布外泛化至关重要,并证明去除位置编码差异的Transformer能在多种分布偏移下达到最优性能。
2023-11-30 cs.CL cs.LG
Advanced deep-reinforcement-learning methods for flow control: group-invariant and positional-encoding networks improve learning speed and quality
Jeonbuk National University(全北国立大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出融合群不变网络与transformer式位置编码的MARL流动控制方法,并在Rayleigh-Bénard对流中验证其可加快收敛、缩短一半训练时间并降低Nu。
2024-10-25 cs.LG physics.flu-dyn
Lost in Serialization: Invariance and Generalization of LLM Graph Reasoners
University of Cambridge(剑桥大学);ETH Zurich(苏黎世联邦理工学院)
研究LLM图推理器对图表示对称性的缺乏不变性,通过分解序列化因素并评估微调影响,发现大模型更鲁棒,微调降低节点重标敏感但增加结构和格式敏感,且不保证泛化。
2026-06-09 cs.AI cs.LG
The Impact of Preprocessing Methods on Racial Encoding and Model Robustness in CXR Diagnosis
Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学研究所MEVIS)
本文研究了预处理方法对胸部X光诊断中种族编码和模型鲁棒性的影响,发现肺部裁剪可有效减少种族偏见而不牺牲诊断性能。
2026-03-05 cs.CV cs.LG eess.IV
Set-based Neural Network Encoding Without Weight Tying
KAIST(韩国科学技术院);University of Oxford(牛津大学)
该研究提出基于集合的神经网络编码器SNE,利用集合函数、Logit不变性及填充-分块-编码流水线实现跨架构、跨规模的网络权重编码,还提出两项新属性预测任务,性能优于现有基线。
2025-01-14 cs.AI cs.LG cs.NE
3D-Aware Encoding for Style-based Neural Radiance Fields
Carnegie Mellon University(卡内基梅隆大学);Meta Research(Meta研究院)
我们解决了基于样式的神经辐射场的NeRF反演的任务(例如,StyleNeRF)。在这项任务中,我们的目标是学习一个逆函数,将输入图像投影到NeRF发生器的潜在空间,然后基于潜在代码合成原始图像的新视图。与用于2D生成模型的GAN反演相比,NeRF反演不仅需要1)保持输入图像的身份,而且2)确保生成的新视图的3D一致性。这要求从单视图图像获得的潜在代码在多个视图中是不变的。为了解决这个新的挑战,我们提出了一个两阶段的编码器基于风格的NeRF反转。在第一阶段中,我们引入了一个基本编码器,它将输入图像转换为潜码。为了保证潜在编码具有视点不变性,并能够合成三维一致的新视点图像,我们利用身份对比学习来训练基本编码器。其次,为了更好地保留输入图像的身份,我们引入了一个细化编码器来细化潜在代码并向输出图像添加更精细的细节。值得注意的是,该模型的新颖性在于其第一阶段编码器的设计,该编码器产生位于潜在流形上的最接近的潜在代码,因此第二阶段中的细化将接近NeRF流形。通过大量的实验,我们证明了我们提出的两阶段编码器定性和定量表现出优于现有的编码器在图像重建和新颖的视图渲染反转。
2022-11-12 cs.CV cs.LG
Conditional Positional Encodings for Vision Transformers
Meituan Inc.(美团公司);Beijing Academy of AI(北京人工智能研究院);Zhejiang University(浙江大学)
我们提出了一个条件位置编码(CPE)方案的视觉Transformer。与之前的固定或可学习的位置编码不同,CPE是动态生成的,并以输入标记的局部邻域为条件。因此,CPE可以很容易地推广到比模型在训练过程中看到的更长的输入序列。此外,CPE在图像分类任务中可以保持期望的不变性,从而提高性能。我们用一个简单的位置编码生成器(PEG)实现CPE,以无缝地集成到当前的Transformer框架中。在PEG的基础上,我们提出了条件位置编码视觉Transformer(CPVT)。我们证明,CPVT有视觉上相似的注意力地图相比,那些与学习位置编码,并提供优于结果。我们的代码可在https://github.com/Meituan-AutoML/CPVT上获得。
2023-02-13 cs.AI cs.CV cs.LG
The DEformer: An Order-Agnostic Distribution Estimating Transformer
Auburn University(奥本大学)
阶数不可知的自回归分布(密度)估计(OADE),即,特征可以以任意顺序出现的自回归分布估计是生成式机器学习中的一个具有挑战性的问题。OADE上的先前工作通过将每个特征分配到输入向量中的不同固定位置来编码特征标识。因此,为这些输入构建的架构必须策略性地屏蔽输入或模型权重,以学习以顺序不可知的方式推断数据集的完整联合分布所需的各种条件分布。在本文中,我们提出了一种替代方法编码功能的身份,其中每个功能的身份包括在其输入值旁边。这种特征标识编码策略允许为顺序数据设计的神经架构不经修改地应用于OADE任务。作为概念证明,我们证明了在此输入上训练的Transformer(我们称为“变形器”,即,分布估计Transformer)可以有效地对二值化MNIST进行建模,接近固定阶自回归分布估计算法的性能,同时仍然是完全阶数不可知的。此外,我们发现,DEformer超过最近的基于流的架构的性能时,建模表格数据集。
2021-07-11 cs.LG
Naturally Computed Scale Invariance in the Residual Stream of ResNet18
Independent(独立研究者)
本研究探讨了ResNet18残差流如何通过尺度等变表示的逐元素求和自然计算尺度不变性,并通过消融实验将其与尺度鲁棒的物体识别行为建立因果联系。
2025-04-29 cs.CV cs.LG
Quantal synaptic dilution enhances sparse encoding and dropout regularisation in deep networks
UCL(伦敦大学学院)
Dropout是一种技术,它在训练深度网络以减少过度拟合的同时,使随机单元的活动沉默。在这里,我们介绍了量子突触稀释(QSD),一个生物学上合理的模型的辍学正规化的基础上的神经元突触的量子特性,它结合了异质性的响应幅度和释放概率的囊泡量子。QSD在ReLU多层感知器中优于标准dropout,在测试时增强稀疏编码,此时dropout掩码被身份函数取代,而无需可训练权重或偏差分布的变化。对于卷积网络,该方法还改进了计算机视觉任务中的泛化,包括和不包括额外形式的正则化。QSD在语言建模和情感分析的循环网络中也优于标准辍学。QSD相对于许多dropout变体的优点在于,它可以在标准dropout适用的所有传统深度网络中普遍实现。
2020-09-28 cs.AI cs.LG stat.ML
Leveraging speaker attribute information using multi task learning for speaker verification and diarization
University of Edinburgh(爱丁堡大学)
深度说话人嵌入已经成为说话人识别任务中编码说话人身份的主要方法。理想情况下,嵌入空间应该捕获所有可能的扬声器之间的变化,对构成扬声器身份的多个声学方面进行编码,同时对非扬声器声学变化具有鲁棒性。深度说话人嵌入通常是有区别地训练的,在训练数据上预测说话人身份标签。我们假设,另外预测与说话者相关的辅助变量--如年龄和国籍--可能会产生更好地概括看不见的说话者的表示。我们提出了一个框架,利用辅助标签信息,即使它只适用于语音语料库不匹配的目标应用程序。在美国最高法院录音的测试集上,我们表明,通过利用分别来自匹配的训练数据和VoxCeleb语料库的两种额外形式的扬声器属性信息,我们提高了我们的深度扬声器嵌入的性能,用于验证和日志化任务,与仅使用扬声器标签的基线相比,DER和EER分别提高了26.2%和6.7%。尽管辅助标签已经从卷材上刮下并且潜在地有噪声,但是仍然获得了这种改进。
2021-04-23 cs.LG cs.SD eess.AS