Distributed Semi-supervised Fuzzy Regression with Interpolation Consistency Regularization
University of Technology Sydney(悉尼科技大学);University of Tasmania(塔斯马尼亚大学);Indian Institute of Technology Indore(印度理工学院印多尔分校)
最近,分布式半监督学习(DSSL)算法已显示出其有效性,利用未标记的样本在互连网络,代理不能共享他们的原始数据与对方,只能与他们的邻居非敏感信息。然而,现有的DSSL算法不能应付数据的不确定性,并可能遭受高计算和通信开销的问题。为了解决这些问题,我们提出了一个分布式半监督模糊回归(DSFR)模型与模糊“若-则”规则和插值一致性正则化(ICR)。最近针对半监督问题提出的ICR算法可以强制决策边界通过稀疏数据区域,从而提高模型的鲁棒性。然而,其在分布式场景中的应用尚未被考虑。在这项工作中,我们提出了一个分布式的模糊C-均值(DFCM)方法和分布式插值一致性正则化(DICR)建立在著名的交替方向方法的乘数分别定位参数的前件和后件的DSFR。值得注意的是,DSFR模型收敛非常快,因为它不涉及反向传播过程,并且可扩展到大规模数据集,受益于DFCM和DICR的利用。在人工数据集和真实数据集上的实验结果表明,与现有的DSSL算法相比,本文提出的DSFR算法在损失值和计算代价方面都有明显的提高.
2022-09-18 cs.AI cs.LG
PS-Net: Learned Partially Separable Model for Dynamic MR Imaging
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);National Center for Applied Mathematics Shenzhen(深圳国家应用数学中心)
由低秩正则化驱动的深度学习方法在动态磁共振(MR)成像中取得了有吸引力的性能。然而,这些方法中的大多数通过手工制作的核范数表示低秩先验,这不能通过固定的正则化参数在整个数据集上准确地近似低秩先验。在本文中,我们提出了一个学习的低秩方法的动态MR成像。特别是,我们展开了半二次分裂法(HQS)算法的部分可分离(PS)模型的网络,其中低秩自适应特征是一个可学习的零空间变换。在心脏电影数据集上的实验表明,该模型在定量和定性上都优于最先进的压缩感知(CS)方法和现有的深度学习方法。
2022-08-10 cs.CV cs.LG eess.IV
Improved Consistency Regularization for GANs
University of California, Irvine(加利福尼亚大学欧文分校);Google Research(谷歌研究院)
最近的工作通过对生成对抗网络(GANs)强制执行一致性成本来提高生成对抗网络的性能。我们在几个方面改进了这项技术。我们首先展示了一致性正则化可以将伪影引入到GAN样本中,并解释了如何解决这个问题。然后,我们提出了几个修改的一致性正则化过程,旨在提高其性能。我们进行了大量的实验来量化我们改进的好处。对于CIFAR-10和CelebA上的无条件图像合成,我们的修改在各种GAN架构上产生最知名的FID分数。对于CIFAR-10上的条件图像合成,我们将最先进的FID分数从11.48提高到9.21。最后,在ImageNet-2012上,我们将我们的技术应用于原始BigGAN模型,并将FID从6.66提高到5.38,这是该模型大小的最佳分数。
2020-12-14 cs.LG stat.ML
Consistency Regularization Can Improve Robustness to Label Noise
KTH(瑞典皇家理工学院)
一致性正则化是半监督学习和自监督学习的常用技术。它是一个辅助目标函数,鼓励网络的预测在观察到的训练样本附近相似。Hendrycks等人(2020)最近表明,这种正则化自然会为损坏的数据带来测试时的鲁棒性,并有助于校准。本文实证研究了一致性正则化对噪声标签的训练时间鲁棒性的相关性。首先,我们对在噪声数据集上使用标准交叉熵损失训练的网络的一致性进行了两个有趣且有用的观察:(i)在噪声数据上训练的网络的一致性低于在干净数据上训练的网络,以及(ii)在噪声标记的训练数据点周围的一致性比正确标记的数据点降低得更明显。然后,我们证明了一个简单的损失函数,鼓励一致性提高了模型的鲁棒性,以标记噪声的合成(CIFAR-10,CIFAR-100)和现实世界(WebVision)的噪声,以及不同的噪声率和类型,并达到最先进的结果。
2021-10-04 cs.CV cs.LG stat.ML
Consistency Regularization for Certified Robustness of Smoothed Classifiers
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
最近的随机平滑技术已经表明,最坏情况(对抗性)$\ell_2$鲁棒性可以通过“平滑”分类器而被转换为平均情况高斯鲁棒性,即,通过考虑高斯噪声上的平均预测。在这种范式中,人们应该重新思考对抗鲁棒性的概念,即分类器在噪声观测下的泛化能力。我们发现,平滑分类器的准确性和认证的鲁棒性之间的权衡,可以大大控制通过简单地正则化的预测一致性噪声。这种关系使我们能够设计一个鲁棒的训练目标,而无需近似不存在的平滑分类器,例如,通过软平滑。我们在各种深度神经网络架构和数据集下的实验表明,“认证”的$\ell_2$ -鲁棒性可以通过所提出的正则化得到显着提高,甚至可以实现更好或与最先进的方法相当的结果,并且训练成本和超参数显着减少。
2021-01-08 cs.LG stat.ML
SCR: Training Graph Neural Networks with Consistency Regularization
Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学);Tencent(腾讯)
我们提出了SCR框架,用于增强具有一致性正则化的图神经网络(GNNs)的训练。正则化是机器学习中用于减少过拟合和提高泛化能力的一组策略。然而,目前还不清楚如何最好地设计GNN中的泛化策略,因为它适用于图数据的半监督设置。主要的挑战在于如何有效地平衡来自标记数据和来自未标记数据的误差之间的权衡。SCR是一个简单而通用的框架,我们在其中引入了两种一致性正则化策略来解决上述挑战。一个是最小化不同版本的GNN模型的扰动预测之间的分歧。另一个是利用平均教师范式来估计教师和学生模型之间的一致性损失,而不是预测的不一致性。我们在Open Graph Benchmark(OGB)中的三个大规模节点分类数据集上进行了实验。实验结果表明,所提出的SCR框架是一个通用的框架,可以增强各种GNN,以实现更好的性能。最后,SCR一直是所有三个OGB排行榜的前1名。
2022-06-13 cs.LG cs.SI stat.ML
Epsilon Consistent Mixup: Structural Regularization with an Adaptive Consistency-Interpolation Tradeoff
Pennsylvania State University(宾夕法尼亚州立大学);Sant’Anna School of Advanced Studies(圣安娜高等研究院)
在本文中,我们提出了$ε$ -一致性混淆($ε$ μ)。$ε$ mu是一种基于数据的结构正则化技术,它通过在两者之间进行简单的自适应权衡,将Mixup的线性插值与Mixup方向的一致性正则化相结合。这种一致性和插值的可学习组合在整个特征空间的响应演化上引入了更灵活的结构,并被证明可以提高SVHN和CIFAR 10基准数据集上的半监督分类准确性,在最具挑战性的低标签可用性场景中获得最大收益。比较$ε$ mu和Mixup的实证研究,并提供深入了解$ε$ mu的有效性背后的机制。特别是,发现$ε$ mu比Mixup产生更准确的合成标记和更有信心的预测。
2021-09-30 cs.LG stat.AP stat.ME
Augmented Cyclic Consistency Regularization for Unpaired Image-to-Image Translation
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所);Tokyo Institute of Technology(东京工业大学)
由于生成对抗网络(GANs)的最新进展,不成对图像到图像(I2 I)翻译在模式识别和计算机视觉中受到了相当大的关注。然而,由于缺乏明确的监督,未配对的I2 I模型通常无法生成逼真的图像,特别是在具有不同背景和姿势的挑战性数据集中。因此,稳定化对于GANs和I2 I翻译的应用是必不可少的。在这里,我们提出了增强循环一致性正则化(ACCR),一种新的正则化方法,用于不成对的I2 I翻译。我们的主要思想是执行一致性正则化源于半监督学习的歧视利用真实的,假的,重建的,和增强的样本。我们正则化的鉴别器输出类似的预测时,美联储对原始和扰动图像。我们定性地阐明了为什么一致性正则化在假样本和重建样本上效果很好。量化,我们的方法优于一致性正则化GAN(CR-GAN)在现实世界的翻译,并证明了对几个数据增强变量和周期一致性约束的有效性。
2020-10-12 cs.CV cs.LG
Consistency of Neural Networks with Regularization
Texas State University(德克萨斯州立大学);Yale University(耶鲁大学)
神经网络由于其在自然语言处理和计算机视觉等应用中的成功而引起了广泛的关注。对于大规模数据,由于神经网络中的参数数量巨大,过拟合是训练神经网络的一个问题。为了避免过拟合,一种常见的方法是惩罚参数,特别是神经网络中的权重。虽然神经网络在许多应用中显示了其优越性,但惩罚神经网络的理论基础还没有很好地建立起来。本文的目标是提出正则化神经网络的一般框架,并证明其一致性。在一定条件下,随着样本量的增加,估计的神经网络将收敛到真实的底层函数。利用筛子法和最小神经网络理论克服了参数的不可辨识性问题。两种类型的激活函数:双曲正切函数(Tanh)和整流线性单元(ReLU)已被考虑。仿真结果验证了一致性定理的正确性。
2022-06-22 cs.LG stat.ME stat.ML
Paired-Consistency: An Example-Based Model-Agnostic Approach to Fairness Regularization in Machine Learning
Intuit Inc.(直觉公司)
随着人工智能系统的复杂性发展,越来越难以确保基于性别、年龄和种族等受保护属性的非歧视。最近已经开发了许多方法来处理这个问题,只要受保护的属性显式地可用于算法。我们解决的设置不是这种情况(没有显式的受保护属性,或者有一个大的属性集)。相反,我们假设存在一个公平的领域专家,能够生成对标记数据集的扩展-一小组示例对,每个示例对在受保护变量的子集上具有不同的值,但被判断为保证类似的模型响应。我们定义了一个性能指标-配对一致性。配对一致性度量输出(由分类器或回归器分配)在这些精心选择的公平性决定相同决策的示例对上的接近程度。在某些情况下,一致性可以在优化过程中嵌入损失函数中,并用作公平正则化器,而在其他情况下,它是公平模型选择的工具。我们使用经过充分研究的收入普查数据集来演示我们的方法。
2019-12-07 cs.LG stat.ML
Order-preserving Consistency Regularization for Domain Adaptation and Generalization
University of Electronic Science and Technology of China(电子科技大学);University of Amsterdam(阿姆斯特丹大学);United Imaging Healthcare, Co., Ltd.(联影医疗科技股份有限公司)
本文提出保序一致性正则化(OCR),通过保持预测概率的顺序不变来增强模型对任务无关变换的鲁棒性,从而降低对领域特定属性的敏感度,并在五个跨领域任务上验证了其优势。
2023-09-23 cs.CV cs.LG
On the Equivalence of Consistency-Type Models: Consistency Models, Consistent Diffusion Models, and Fokker-Planck Regularization
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团公司);Stanford University(斯坦福大学)
本研究建立了扩散模型中一致性模型、一致扩散模型与Fokker-Planck正则化三种“一致性”概念间的理论联系,为一致性类型模型提供了更全面且具包容性的统一框架。
2023-06-01 cs.AI cs.LG math.ST
Consistency and Monotonicity Regularization for Neural Knowledge Tracing
Riiid! AI Research;Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院)
知识追踪(KT),跟踪人类的知识获取,是在线学习和人工智能教育的核心组成部分。在本文中,我们提出了一个简单而有效的策略,以提高KT模型的泛化能力:我们提出了三种类型的新的数据增强,杜撰的替换,插入和删除,以及相应的正则化损失,施加一定的一致性或单调性偏差的模型的预测的原始和增强序列。在各种KT基准测试上的大量实验表明,我们的正则化方案在3个广泛使用的神经网络和4个公共基准测试下,在DKT模型和ASSISTmentsChall数据集下,AUC改善了6.3%。
2021-05-03 cs.AI cs.LG
Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization
Xidian University(西安电子科技大学);Nanyang Technological University(南洋理工大学)
对抗性训练(AT)已被证明是保护深度神经网络(DNN)免受对抗攻击的最有效方法之一。然而,鲁棒过拟合现象,即,鲁棒性在某个阶段会急剧下降,在AT期间始终存在。为了获得一个鲁棒的模型,减小这种鲁棒的推广差距是非常重要的。本文从一个新的角度对鲁棒过拟合问题进行了深入的研究。我们观察到,一致性正则化,半监督学习中的一种流行技术,具有与AT相似的目标,并且可以用于减轻鲁棒过拟合。我们经验验证了这一观察,并发现大多数先前的解决方案有隐式连接到一致性正则化。基于此,我们引入了一个新的AT解决方案,它集成了一致性正则化和平均教师(MT)策略到AT。具体来说,我们引入了一个教师模型,它来自于学生模型在训练步骤中的平均权重。然后,我们设计了一个一致性损失函数,使学生模型在对抗样本上的预测分布与教师模型在干净样本上的预测分布一致。实验结果表明,该方法能有效抑制过拟合,提高DNN模型对常见对抗攻击的鲁棒性.
2022-05-24 cs.CV cs.LG
Adaptive Consistency Regularization for Semi-Supervised Transfer Learning
Baidu Research(百度研究院);University of Oregon(俄勒冈大学);University of Macau(澳门大学)
虽然最近关于半监督学习的研究在利用标记和未标记数据方面取得了显着进展,但大多数研究都假设模型的基本设置是随机初始化的。在这项工作中,我们联合考虑半监督学习和迁移学习,从而产生一种更实用和更有竞争力的范式,可以利用来自源域的强大的预训练模型以及目标域中的标记/未标记数据。为了更好地利用预训练权重和未标记目标示例的价值,我们引入了自适应一致性正则化,它由两个互补的组件组成:源模型和目标模型之间示例的自适应知识一致性(AKC),以及标记和未标记示例之间目标模型的自适应表示一致性(ARC)。根据样本对目标任务的潜在贡献,自适应地选择参与一致性正则化的样本。我们通过微调ImageNet预训练的ResNet-50模型,在CIFAR-10、CUB-200和MURA等流行基准上进行了广泛的实验。结果表明,我们提出的自适应一致性正则化优于最先进的半监督学习技术,如伪标签,平均教师和FixMatch。此外,我们的算法与现有方法正交,因此能够在MixMatch和FixMatch的基础上获得额外的改进。我们的代码可在https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning上获得。
2021-08-08 cs.CV cs.LG
Variable Selection and Regularization via Arbitrary Rectangle-range Generalized Elastic Net
Claremont Graduate University(克莱蒙特研究生大学);Old Mission Capital(老使命资本)
本文介绍了任意矩形范围的广义弹性网罚方法,简称ARGEN,用于高维稀疏线性模型的约束变量选择和正则化。作为非负弹性网罚方法的自然推广,在一定条件下证明了ARGEN方法具有变量选择一致性和估计一致性。研究了ARGEN估计量在分布中的渐近性态。我们还提出了一个算法称为MU-QP-RR-W- $l_1$有效地解决ARGEN。通过仿真研究,我们表明,ARGEN优于弹性网在一些设置。最后,标准普尔500指数跟踪与股票分配的限制的应用程序进行调整ARGEN解决现实世界的问题提供一般性的指导。
2021-12-14 cs.LG stat.ML
Consistency regularization-based Deep Polynomial Chaos Neural Network Method for Reliability Analysis
College of Aerospace Science and Engineering, National University of Defense Technology(国防科技大学空天科学学院);Defense Innovation Institute, Chinese Academy of Military Science(中国人民解放军军事科学院国防科技创新研究院)
多项式混沌展开(PCE)是一种基于代理模型的可靠性分析方法.对于一些复杂的非线性随机系统,通常需要一个具有较高展开阶的PCE模型来获得精确的代理模型。然而,高阶PCE增加了求解展开系数所需的标记数据的数量。针对这一问题,提出了一种基于一致性正则化的深度多项式混沌神经网络(Deep PCNN)方法,包括低阶自适应PCE模型(辅助模型)和高阶多项式混沌神经网络(主模型)。将主模型的展开系数参数化为多项式混沌神经网络的可学习权值,实现展开系数的迭代学习,获得更精确的高阶PCE模型。辅助模型使用所提出的一致性正则化损失函数来辅助训练主模型。基于一致性正则化的Deep PCNN方法可以通过使用少量的标记数据和大量的未标记数据,在不损失精度的情况下显著减少构建高阶PCE模型时的标记数据的数量。算例验证了基于一致性正则化的深度PCNN方法的有效性,并将该方法应用于两个航天工程系统的可靠性分析。
2022-04-04 cs.LG cs.SY eess.SY
Adaptively Weighted Data Augmentation Consistency Regularization for Robust Optimization under Concept Shift
University of Texas at Austin(德克萨斯大学奥斯汀分校);Snap Inc.(Snap公司)
概念转移是医学图像分割等自然任务中普遍存在的问题,其中样本通常来自不同的子群体,特征和标签之间具有不同的相关性。医学图像分割中的一种常见的概念转移类型是具有很少(如果有的话)分割标签的标签稀疏样本和具有大量标记像素的标签密集样本之间的“信息不平衡”。现有的分布式鲁棒算法集中于自适应地截断/降低“较少信息”(即,在我们的上下文中是标签稀疏的)样本。为了更有效地利用标签稀疏样本的数据特征,我们提出了一种自适应加权在线优化算法- AdaWAC -将数据增强一致性正则化的样本重新加权。我们的方法引入了一组可训练的权重来分别平衡每个样本的监督损失和无监督一致性正则化。在底层目标的鞍点处,权重将标签密集样本分配给监督损失,将标签稀疏样本分配给无监督一致性正则化。我们提供了一个收敛保证,通过重铸的优化作为在线镜像下降的鞍点问题。我们的实验结果表明,AdaWAC不仅提高了分割性能和样本效率,但也提高了鲁棒性的概念转移的各种医学图像分割任务与不同的UNet风格的骨干。
2023-01-31 cs.CV cs.LG
Consistency Regularization for Adversarial Robustness
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
对抗训练(AT)是目前获得深度神经网络对抗鲁棒性的最成功方法之一。然而,鲁棒过拟合现象,即,在AT期间鲁棒性开始显著降低,这是有问题的,不仅使从业者考虑一袋技巧来成功训练,例如,早期停止,但也会导致鲁棒性的显著泛化差距。在本文中,我们提出了一个有效的正则化技术,防止强大的过拟合优化辅助“一致性”正则化损失在AT。具体来说,我们发现,数据增强是一个非常有效的工具,以减轻过拟合AT,并开发了一个正则化,迫使预测分布攻击后,从两个不同的扩增相同的实例是彼此相似。我们的实验结果表明,这样一个简单的正则化技术带来了显着的改善,在测试中的鲁棒性的准确性范围广泛的AT方法。更值得注意的是,我们还表明,我们的方法可以显着帮助模型推广其对看不见的对手的鲁棒性,例如,其他类型或与训练期间使用的扰动相比更大的扰动。代码可在https://github.com/alinlab/consistency-adversarial上获得。
2021-12-22 cs.AI cs.LG
Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对鲁棒对抗强化学习中的优化不稳定和价值估计退化问题,提出RACER框架,通过状态相关对抗目标和评论家一致性正则化,提升性能、鲁棒性与训练稳定性。
2026-09-24 cs.LG
Beyond Self-Consistency: Loss-Balanced Perturbation-Based Regularization Improves Industrial-Scale Ads Ranking
Meta
本文提出损失平衡小扰动正则化(LSPR),在工业级广告排序中首次成功应用扰动正则化,实验表明其优于自一致性方法,并在十亿级系统中验证了可扩展性。
2025-02-05 cs.AI cs.IR cs.LG
Attention Consistency Regularization for Interpretable Early-Exit Neural Networks
Yanhua Zhao
本文提出EGT方法,通过注意力一致性正则化提升早期退出神经网络的可解释性和一致性,实现更高的准确率和更快的推理速度。
2026-02-04 cs.AI cs.LG
MixPUL: Consistency-based Augmentation for Positive and Unlabeled Learning
Nanjing University(南京大学);Paradigm Inc.(第四范式公司)
从正的和未标记的数据中学习(PU学习)在实际应用中很普遍,其中只有几个例子是正标记的。以前的PU学习研究通常依赖于现有的样本,因此没有广泛探索数据分布。在这项工作中,我们提出了一个简单而有效的数据增强方法,创造了~ \algo,基于\emph{consistency regularization},它提供了一个新的角度使用PU数据。特别是,建议的~ \algo ~结合监督和无监督的一致性训练,以生成增强数据。为了促进监督一致性,由于没有负样本,从未标记的数据中挖掘可靠的负样本。在未标记的数据点之间进一步鼓励无监督的一致性。此外,~ \algo ~减少了阳性和未标记对之间的裕度损失,从而显式优化AUC并加快收敛速度。最后,我们进行了一系列的研究,以证明一致性正则化的有效性。我们研究了三种可靠的负面挖掘方法。我们表明,~ \algo ~在CIFAR-10数据集上,在不同的正数据量下,平均分类误差从16.49提高到13.09。
2020-04-20 cs.LG stat.ML
BranchShine-CR: Compact Multilingual IPA Transcription with Self-Conditioned CTC and Consistency Regularization
International Centre for Neuromorphic Systems, Western Sydney University(西悉尼大学国际神经形态系统中心);Neurabuild
BranchShine-CR是一个25M参数的紧凑多语言IPA转写模型,通过自条件CTC和一致性正则化,在16,646条测试话语上达到4.47%字符错误率,较ZIPA-CTC-NS相对降低22.3%,参数少十二倍,适用于低资源设备端发音评估。
2026-09-25 cs.LG
Generalizing Consistency Policy to Visual RL with Prioritized Proximal Experience Regularization
University of Chinese Academy of Sciences(中国科学院大学)
针对视觉强化学习样本效率低、训练不稳定的问题,提出带优先级近端经验正则化的一致性策略CP3ER,结合样本熵正则化稳定训练,在21项任务上取得SOTA,是首个将扩散/一致性模型应用于视觉强化学习的方法。
2024-10-29 cs.AI cs.CV cs.LG
Improving the Certified Robustness of Neural Networks via Consistency Regularization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
已经提出了一系列的防御方法来提高神经网络对对抗性示例的鲁棒性,其中可证明的防御方法已经被证明是有效的训练神经网络,可以证明是强大的攻击者。然而,这些可证明的防御方法大多数在训练过程中平等对待所有的例子,忽略了正确分类(自然)和错误分类的例子之间的认证鲁棒性的不一致约束。在本文中,我们探讨了这种不一致性所造成的错误分类的例子,并添加了一个新的一致性正则化项,以更好地利用错误分类的例子。具体地说,我们发现,认证的鲁棒性网络可以显着提高,如果认证的鲁棒性错误分类的例子和正确分类的例子是一致的约束。基于这一发现,我们设计了一个新的防御正则化项,称为误分类感知对抗正则化(MAAR),它约束了误分类示例的认证区域中所有示例的输出概率分布。实验结果表明,我们提出的MAAR实现了最好的认证的鲁棒性和可比的准确性CIFAR-10和MNIST数据集相比,几个国家的最先进的方法。
2021-01-20 cs.CV cs.LG
Sample Efficiency of Data Augmentation Consistency Regularization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学)
数据增强在大型神经网络的训练中很流行;然而,目前,在如何使用增强数据的不同算法选择之间没有明确的理论比较。在本文中,我们在这个方向上迈出了一步-我们首先提出了一个简单而新颖的分析线性回归与标签不变的增广,证明了数据增强一致性(DAC)本质上是更有效的经验风险最小化增广数据(DA-ERM)。然后将分析扩展到错误指定的增强(即,这再次证明了DAC优于DA-ERM的优点。此外,我们将我们的分析扩展到非线性模型(例如,神经网络)和目前的泛化界限。最后,我们进行实验,使一个干净的和苹果对苹果的比较(即,没有额外的建模或数据调整)之间的DAC和DA-ERM使用CIFAR-100和WideResNet;这些共同证明了DAC的优越功效。
2022-06-16 cs.LG
CROW: Eliminating Backdoors from Large Language Models via Internal Consistency Regularization
School of Computing and Information Systems, Singapore Management University, Singapore(计算与信息系统学院,新加坡国立管理大学)
针对文本生成式LLM后门防御难题,本文提出CROW,利用对抗扰动和跨层一致性正则化在微调中消除后门,仅需小型干净数据集,并在多类模型与攻击策略上验证有效。
2025-06-11 cs.AI cs.CL cs.LG
Semi-Supervised Learning with Variational Bayesian Inference and Maximum Uncertainty Regularization
Applied Artificial Intelligence Institute (A2I2), Deakin University(应用人工智能研究所(A2I2),迪肯大学)
我们提出了两个通用的方法来改善半监督学习(SSL)。第一个集成的权重扰动(WP)到现有的“一致性正则化”(CR)为基础的方法。我们实现WP利用变分贝叶斯推理(VBI)。第二种方法提出了一种新的一致性损失称为“最大不确定性正则化”(MUR)。虽然大多数一致性损失作用于每个数据点附近的扰动,但MUR积极搜索位于该区域之外的“虚拟”点,这些点导致最不确定的类预测。这允许MUR在输入-输出歧管中的更宽区域上施加平滑。我们的实验表明,当它们与VBI或MUR或两者结合时,各种基于CR的方法的分类错误有了明显的改善。
2021-03-18 cs.AI cs.LG
Noise Consistency Regularization for Improved Subject-Driven Image Synthesis
The Australian National University(澳大利亚国立大学);Rutgers University(罗格斯大学);Data61 CSIRO(澳大利亚联邦科学与工业研究组织 Data61);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
本文针对主体驱动扩散模型微调中的欠拟合与过拟合问题,提出先验一致性和主体一致性两种噪声正则化损失,在保持主体身份的同时提升背景多样性与视觉质量。
2025-06-06 cs.AI cs.CV cs.GR
Domain Generalization via Selective Consistency Regularization for Time Series Classification
Institute for Infocomm Research, A*STAR(A*STAR资讯通信研究院);Centre for Frontier AI Research, A*STAR(A*STAR前沿人工智能研究中心)
领域泛化方法的目标是利用来自有限数量的源域的数据并且在训练期间不访问目标域样本来学习对域移位鲁棒的模型。用于领域泛化的流行领域对齐方法寻求通过最小化跨所有领域的特征分布之间的差异来提取领域不变特征,而不考虑领域间的关系。在本文中,我们提出了一种新的表示学习方法,选择性地执行预测的一致性估计密切相关的源域之间。具体来说,我们假设域共享不同的类信息表示,所以不是对齐所有可能导致负迁移的域,我们只调整密切相关的域之间的差异。我们将我们的方法应用于时间序列分类任务,并在三个公开的真实世界数据集上进行了全面的实验。我们的方法显着提高了基线,并实现了更好的或有竞争力的性能相比,国家的最先进的方法在精度和模型校准。
2022-06-16 cs.LG
Consistency Regularization for Domain Generalization with Logit Attribution Matching
Huawei(华为);The Hong Kong University of Science and Technology(香港科技大学)
本文针对领域泛化中语义共享对的一致性正则化问题,提出Logit归因匹配方法,通过理论证明一致性正则化有助于领域泛化,并在多个基准和预训练模型上验证其优于现有单源/多源DG及各类CR方法。
2024-06-12 cs.LG
Extending Momentum Contrast with Cross Similarity Consistency Regularization
Huawei Technologies Canada Co. Ltd.(华为技术加拿大有限公司)
对比自监督表示学习方法最大化正对之间的相似性,同时倾向于最小化负对之间的相似性。然而,一般来说,否定对之间的相互作用被忽视,因为它们没有建立特殊的机制,根据它们的具体差异和相似性来区别对待否定对。在本文中,我们提出了扩展动量对比(XMoCo),一个自我监督的表示学习方法的基础上提出的动量编码器单元的遗产的MoCo家庭配置。为此,我们引入了一个交叉一致性正则化损失,我们将变换一致性扩展到不同的图像(负对)。在交叉一致性正则化规则下,我们认为与任何一对图像(正面或负面)相关的语义表示应该在借口变换下保持其交叉相似性。此外,我们通过在一批负对上强制相似性的均匀分布来进一步正则化训练损失。所提出的正则化可以很容易地添加到现有的自监督学习算法的即插即用的方式。从经验上讲,我们报告了标准Imagenet-1 K线性头部分类基准的竞争力表现。此外,通过将学习到的表示转移到常见的下游任务,我们表明,使用XMoCo与precurrently利用增强可以导致这些任务的性能的改善。我们希望本文的研究结果能够激励研究者考虑自监督学习中负面例子之间的重要相互作用。
2022-06-07 cs.AI cs.CV cs.LG
Augmentation-induced Consistency Regularization for Classification
University of Science and Technology of China(中国科学技术大学);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
深度神经网络已经在许多监督学习任务中变得流行,但是当训练数据集有限时,它们可能会遭受过拟合。为了缓解这一问题,许多研究人员使用数据增强,这是一种广泛使用的有效方法,用于增加数据集的多样性。但是,数据增强引入的随机性导致训练和推理之间不可避免的不一致,从而导致改进效果不佳。在本文中,我们提出了一个一致性正则化框架的基础上数据增强,称为CR-Aug,这迫使由数据增强产生的不同的子模型的输出分布是相互一致的。具体来说,CR-Aug评估每个样本的两个增强版本的输出分布之间的差异,并利用停止梯度操作来最小化一致性损失。我们将CR-Aug应用于图像和音频分类任务,并进行了大量的实验,以验证其在提高分类器泛化能力方面的有效性。我们的CR-Aug框架是现成的,它可以很容易地适应许多最先进的网络架构。我们的实证结果表明,CR-Aug优于基线方法的显着保证金。
2022-05-26 cs.AI cs.LG
A Mathematics Framework of Artificial Shifted Population Risk and Its Further Understanding Related to Consistency Regularization
South China University of Technology(华南理工大学);South China Agricultural University(华南农业大学)
本文构建数据增强的数学框架,揭示偏移总体风险可分解为原始风险与一致性正则化差距项,并提出缓解早期训练负面影响的方法,实验验证其在多种场景下更优。
2025-02-15 cs.AI cs.LG
Diverse Gaussian Noise Consistency Regularization for Robustness and Uncertainty Calibration
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Boston University(波士顿大学)
本文提出多样化高斯噪声一致性正则化方法,通过局部损失景观分析推导理论界,在保持干净样本准确率的同时显著提升图像分类器对多种损坏的鲁棒性与不确定性校准性能。
2023-05-29 cs.AI cs.CV cs.LG
Consistency Regularization for Variational Auto-Encoders
Vector Institute(向量研究所);University of Toronto(多伦多大学);Google Brain(谷歌大脑);Princeton University(普林斯顿大学)
变分自动编码器(VAE)是无监督学习的一种强大方法。他们使可扩展的近似后验推理在潜变量模型中使用变分推理(VI)。VAE假设一个由称为编码器的深度神经网络参数化的变分族,该编码器将数据作为输入。这个编码器在所有观测中共享,这分摊了推理的成本。然而,VAE的编码器具有不期望的属性,即它将给定的观察和其语义保持变换映射到不同的潜在表示。编码器的这种“不一致性”降低了学习表示的质量,特别是对于下游任务,并且还对泛化产生负面影响。在本文中,我们提出了一种正则化方法,以加强一致性的VAE。我们的想法是尽量减少Kullback-Leibler(KL)之间的分歧变分分布时,条件的观察和变分分布时,条件的随机语义保持变换的观察。这种正则化适用于任何VAE。在我们的实验中,我们将其应用于几个基准数据集上的四种不同的VAE变体,发现它总是提高了学习表示的质量,而且还导致了更好的泛化。特别是,当应用于新变分自动编码器(NVAE)时,我们的正则化方法在MNIST和CIFAR-10上产生了最先进的性能。我们还将我们的方法应用于3D数据,发现它学习了通过下游分类任务的准确性来衡量的优质表示。
2022-06-06 cs.CV cs.LG
Hyperspherical Consistency Regularization
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
对比学习的最新进展已经启发了各种半监督领域的各种应用。利用共享的特征编码器联合训练监督学习和无监督学习成为一种常见的方案。虽然该方案同时利用了自监督学习的特征依赖信息和监督学习的标签依赖信息,但仍存在分类器偏差的问题。在这项工作中,我们系统地探索了自监督学习和监督学习之间的关系,并研究了自监督学习如何帮助强大的数据高效深度学习。我们提出了超球面一致性正则化(HCR),一个简单而有效的即插即用的方法,使用特征相关的信息来正则化分类器,从而避免标签的偏见。具体来说,HCR首先将来自分类器的logit和来自投影头的特征投影投影到相应的超球上,然后通过最小化成对距离的相似性度量的二进制交叉熵来强制超球上的数据点具有相似的结构。半监督和弱监督学习的实验证明了我们的方法的有效性,通过显示优越的性能与HCR。
2022-06-02 cs.AI cs.CV cs.LG
MutexMatch: Semi-Supervised Learning with Mutex-Based Consistency Regularization
Nanjing University(南京大学);The University of Sydney(悉尼大学);Southeast University(东南大学);University of Wollongong(伍伦贡大学)
半监督学习的核心问题是如何有效地利用未标记数据,而现有的方法往往侧重于高置信度样本的利用,而很少充分利用低置信度样本。在本文中,我们的目标是以一种新的方式利用低置信度样本,我们提出了基于互斥的一致性正则化,即MutexMatch。具体地说,高置信度的样本被要求准确地预测“它是什么”的传统的真阳性分类器,而低置信度的样本被用来实现一个更简单的目标-预测“它不是什么”的真阴性分类器。在这个意义上,我们不仅减轻了伪标记错误,而且还充分利用了低置信度的未标记数据的一致性的相异度。MutexMatch在多个基准数据集上实现了卓越的性能,即,CIFAR-10、CIFAR-100、SVHN、STL-10、mini-ImageNet和Tiny-ImageNet。更重要的是,我们的方法在标记数据量稀少时进一步显示出优越性,例如,CIFAR-10上只有20个标记数据,准确率为92.23%。我们的代码和模型权重已在https://github.com/NJUyued/MutexMatch4SSL上发布。
2022-12-21 cs.CV cs.LG
A Log-Linear Analytics Approach to Cost Model Regularization for Inpatient Stays through Diagnostic Code Merging
Rutgers University(罗格斯大学)
本文提出通过截断ICD-10诊断代码粒度作为OLS费用模型的正则化方法,证明其能降低维度、提升系数稳定性并保留类别表示,解释了实际中更宽泛诊断分组更受青睐的原因。
2025-09-01 cs.LG stat.AP stat.ML
Learning Linearity in Audio Consistency Autoencoders via Implicit Regularization
LTCI, Telecom Paris, Institut Polytechnique de Paris(LTCI,电信巴黎,巴黎高等理工学院);Deezer Research(Deezer研究)
通过隐式正则化在音频一致性自编码器中诱导线性性,实现更直观高效的音频处理
2026-01-27 cs.AI cs.LG cs.SD
STRAPPER: Preference-based Reinforcement Learning via Self-training Augmentation and Peer Regularization
Zhejiang University(浙江大学);Westlake University(西湖大学)
针对基于偏好的强化学习中人类标注成本高、一致性正则化受相似性陷阱影响失效的问题,提出结合同伴正则化的自训练方法,可高效学习多种运动与机器人操作行为。
2023-07-19 cs.AI cs.LG
Transferring Fairness under Distribution Shifts via Fair Consistency Regularization
University of Maryland, College Park(马里兰大学帕克分校);Boston University(波士顿大学)
在高风险任务中越来越依赖ML模型,这引起了人们对违反公平性的主要担忧。虽然有大量的工作提高了算法公平性,但大多数都是在相同的训练和测试分布的假设下进行的。然而,在许多现实世界的应用中,这样的假设往往是违反的,因为以前训练的公平模型往往部署在不同的环境中,这种模型的公平性已经被观察到崩溃。本文研究了在分布偏移下如何传递模型公平性这一在实际中普遍存在的问题。我们进行了细粒度的分析如何影响下的公平模型的不同类型的分布偏移,并发现域的变化是更具挑战性的比子种群的变化。受自训练在域转移下传递准确性的成功启发,我们推导出传递组公平性的充分条件。在此基础上,我们提出了一个以公平一致性正则化为核心的实用算法。一个合成的数据集基准,它涵盖了所有类型的分布偏移,部署的理论研究结果的实验验证。在包括图像和表格数据的合成数据集和真实数据集上的实验表明,该方法在各种分布偏移下有效地传递了公平性和准确性。
2023-01-14 cs.CY cs.LG
CRUPL: A Semi-Supervised Cyber Attack Detection with Consistency Regularization and Uncertainty-aware Pseudo-Labeling in Smart Grid
Indian Institute of Technology Dharwad(印度达尔瓦德理工学院);Rajiv Gandhi Institute of Technology(拉吉夫·甘地理工学院)
本文提出半监督方法CRUPL,利用一致性正则化、伪标签与课程学习处理智能电网未标签数据,在未知样本下将检测准确率提升至99%并显著减少误报。
2025-03-01 cs.AI cs.CR cs.LG
C$^{2}$R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders
提出跨样本一致性正则化(C$^2$R),通过惩罚方向相似潜变量的共激活,缓解稀疏自编码器中的特征分裂与吸收问题,提升潜变量可解释性而不损失重构保真度。
2026-06-29 cs.AI cs.LG
ROCM: RLHF on consistency models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出ROCM框架,通过直接奖励优化和$f$-散度分布正则化将RLHF应用于一致性模型,实现高效稳定的单步生成训练,在自动指标和人类评估中优于或媲美策略梯度方法。
2025-03-08 cs.AI cs.LG
On Training Implicit Meta-Learning With Applications to Inductive Weighing in Consistency Regularization
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
本文系统分析了隐式元学习中 Hessian 近似方法的稳定性与效率,并提出一种基于置信网络的半监督学习算法,可归纳加权一致性正则化损失并优于 FixMatch。
2023-10-28 cs.AI cs.LG
When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting
Georgia Institute of Technology(佐治亚理工学院)
针对概率层次时间序列预测中分布连贯性缺失及数据集不一致的问题,提出PROFHiT模型,通过分布连贯性正则化联合建模整个层次预测分布,显著提升了准确率、校准效果及缺失数据下的鲁棒性。
2023-10-19 cs.AI cs.LG
When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting
针对概率分层时间序列预测中分布连贯性缺失及对不一致真实数据集适应性差的问题,提出全概率模型PROFHiT,通过引入Distributional Coherency正则化联合建模整个层级预测分布,显著提升了准确率、校准效果及对缺失数据的鲁棒性。
2023-10-19 cs.AI cs.LG
Deep semi-supervised approach based on consistency regularization and similarity learning for weeds classification
PRISME EA 4229 INSA CVL;LIFAT EA 6300 Université Tours;PRISME EA 4229 Université d’Orleans
针对杂草分类中标注数据稀缺问题,提出结合一致性正则化与相似性学习的深度半监督方法,在DeepWeeds数据集上验证了其优于全监督模型的鲁棒性与有效性。
2025-10-12 cs.CV cs.LG
Higher-Order Regularization Learning on Hypergraphs
University of California Los Angeles(加州大学洛杉矶分校);University of Warwick(沃里克大学)
本文提出高阶超图学习方法,通过理论分析和实验验证,展示了其在不同学习场景中的有效性与鲁棒性。
2025-11-24 cs.LG math.ST stat.TH
Semi-supervised Neural Machine Translation with Consistency Regularization for Low-Resource Languages
University of Science, VNUHCM(胡志明市国家大学科学学院);Auburn University(奥本大学)
本文提出一种半监督NMT方法,结合交叉熵与KL散度并引入SentenceBERT过滤器增强数据质量,显著提升低资源语言翻译性能。
2023-04-02 cs.CL cs.LG
Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis
School of Physical and Mathematical Sciences, Nanyang Technological University(南洋理工大学物理与数学科学学院);The Chinese University of Hong Kong(香港中文大学)
针对半监督情感分析泛化能力弱易过拟合的问题,提出基于大型语言模型的语义一致性正则化框架SCR,利用LLM进行文本语义增强并结合置信度阈值与类重组策略提供额外监督,性能显著优于现有方法。
2025-01-29 cs.CL cs.LG
Consistency Models for Fast MRI Reconstruction Using Regularization by Denoising
University of Minnesota(明尼苏达大学);Center for Magnetic Resonance Research(磁共振研究中心)
本研究提出CM-RED方法,将一致性模型整合到去噪正则化框架中,仅用4次网络函数评估,在fastMRI数据集上实现优于现有方法的快速高质量MRI重建。
2026-08-24 cs.AI cs.CV cs.LG